Saltar al contenido

Apache Software Foundation anuncia Apache® YuniKorn™

16 de mayo de 2022

Wilmington, DE, 16 de mayo de 2022 (GLOBE NEWSWIRE) — Apache Software Foundation (ASF), los desarrolladores, administradores e incubadoras totalmente voluntarios de más de 350 proyectos e iniciativas de código abierto, anunció hoy Apache® YuniKorn™ como Proyecto de Alto Nivel (TLP).

Apache YuniKorn es un programador de recursos de Big Data y Machine Learning independiente y nativo de la nube para trabajos por lotes y servicios de ejecución prolongada en sistemas distribuidos a gran escala. El proyecto se desarrolló originalmente en Cloudera en marzo de 2019, ingresó a Apache Incubator en enero de 2020 y se graduó como proyecto de nivel superior en marzo de 2022.

«La comunidad de Apache YuniKorn se esfuerza en conjunto para resolver los problemas de programación de recursos en la nube», dijo Weiwei Yang, vicepresidente de Apache YuniKorn. «Es realmente fantástico ver brillar Apache Way en el proceso de incubación de YuniKorn. Somos afortunados de tener una comunidad tan abierta, colaborativa y diversa, comprensiva y preocupada por el éxito de todos. Esto nos motiva a seguir evolucionando y mejorando. todos los días.»

Apache YuniKorn admite de forma nativa cargas de trabajo de aplicaciones de Big Data y cargas de trabajo mixtas, y proporciona una experiencia de programación unificada y multiplataforma. Las características incluyen:


Recomendado: ¿Qué es el Big data?.


  • Nube nativa: se ejecuta en las instalaciones y en una variedad de entornos de nube pública; maximiza la elasticidad de los recursos con un mejor rendimiento.
  • Colas de recursos jerárquicas: administra eficientemente los recursos del clúster; proporciona la capacidad de controlar el consumo de recursos para cada arrendatario.
  • Programación consciente de aplicaciones: reconoce usuarios, aplicaciones y colas; cronogramas de acuerdo con el orden de envío, la prioridad, el uso de recursos y más.
  • Pedidos de trabajos: sólidas funciones de programación integradas; Admite la preferencia entre colas basada en la equidad, jerarquías, políticas de clasificación de nodos conectables, preferencia y más.
  • Consola de administración central: supervisa el rendimiento en diferentes inquilinos; one-stop-dashboard rastrea la utilización de recursos para nodos administrados, clústeres, aplicaciones y colas.
  • Eficiencia: reduce la fragmentación de recursos y activa proactivamente la ampliación; la elasticidad de la nube reduce los costos operativos generales.

Además, el Proyecto ha anunciado el lanzamiento de Apache YuniKorn v1.0, la quinta actualización desde que ingresó a Apache Incubator. Las mejoras incluyen:

  • Disminución del uso de memoria y CPU
  • Información ampliada de métricas y diagnósticos
  • Nuevo modelo de implementación compatible con futuras actualizaciones
  • Vista previa técnica del modo de implementación del complemento

Optimizado para ejecutar Apache Spark en Kubernetes (sistema de orquestación de contenedores de software de código abierto), el rendimiento de Apache YuniKorn lo convierte en un reemplazo opcional del programador predeterminado de Kubernetes. Apache YuniKorn se destacó en las pruebas comparativas con otros programadores en las categorías de uso compartido de recursos, imparcialidad de recursos, prioridad, programación grupal y empaquetado en contenedores, con un rendimiento que superó las 610 asignaciones por segundo en 2000 nodos.

YuniKorn está en uso en Alibaba, Apple, Cloudera, Lyft, Visa y Zillow, entre otros.

«Estamos encantados de ver que esta oferta se hace realidad. Apache YuniKorn impulsa las cargas de trabajo de Apache Spark para Cloudera Data Engineering (CDE), un servicio clave basado en Kubernetes que respalda la plataforma de datos de Cloudera», dijo Vinod Kumar Vavilapalli, director sénior de Ingeniería en Cloudera y expresidente de PMC de Apache Hadoop. «Como parte de las ofertas de nube pública y privada de Cloudera, Apache YuniKorn agrega una gran flexibilidad y control al ejecutar análisis a gran escala, lo que permite a los clientes optimizar mejor el rendimiento y el valor de sus implementaciones».

«Apache YuniKorn es un servicio de infraestructura esencial para llevar cargas de trabajo de Big Data/ML a la nube», dijo Chunde Ren, Gerente de Ingeniería del equipo de fuente abierta de Big Data de Alibaba. «YuniKorn brinda mejores capacidades de programación, rendimiento, elasticidad y usabilidad para ejecutar cargas de trabajo en Kubernetes, especialmente para cargas de trabajo de Big Data y Machine Learning, lo que beneficia a muchos usuarios en la nube. Es un gran placer para nosotros haber participado en la comunidad de YuniKorn desde su inicio y verlo crecer hasta convertirse en un Proyecto de Alto Nivel».

«Apache YuniKorn se está convirtiendo en una opción popular para aquellos que desean ejecutar cargas de trabajo de Big Data en Kubernetes, y se están desarrollando más casos de uso», agregó Yang. «Damos la bienvenida a todos los que estén interesados ​​en unirse a la comunidad de YuniKorn y trabajar con nosotros para resolver estos problemas desafiantes».

Vea Apache YuniKorn en acción en Kubernetes Batch + HPC Day Europe (17 de mayo de 2022 en Valencia, España https://sched.co/10F0t) y Spark AI Summit 2022 (27-30 de junio en San Francisco y en línea https://databricks .com/dataaisummit/north-america-2022/agenda/?sessionid=1388).

Disponibilidad y Supervisión

El software Apache YuniKorn se publica bajo la Licencia Apache v2.0 y es supervisado por un equipo autoseleccionado de colaboradores activos del proyecto. Un Comité de Gestión del Proyecto (PMC) guía las operaciones diarias del Proyecto, incluido el desarrollo de la comunidad y los lanzamientos de productos. Para descargas, documentación y formas de involucrarse con Apache YuniKorn, visite https://yunikorn.apache.org/ y https://twitter.com/YuniKorn_Sched .

Acerca de la incubadora Apache

Apache Incubator es la ruta de entrada principal para proyectos y bases de código que deseen formar parte de los esfuerzos de The Apache Software Foundation. Todas las donaciones de código de organizaciones externas y proyectos externos existentes ingresan a la ASF a través de la Incubadora para: 1) garantizar que todas las donaciones cumplan con los estándares legales de la ASF; y 2) desarrollar nuevas comunidades que se adhieran a nuestros principios rectores. Se requiere la incubación de todos los proyectos recién aceptados hasta que una revisión adicional indique que la infraestructura, las comunicaciones y el proceso de toma de decisiones se han estabilizado de manera consistente con otros proyectos exitosos de ASF. Si bien el estado de incubación no es necesariamente un reflejo de la integridad o estabilidad del código, sí indica que el proyecto aún no ha sido respaldado por completo por la ASF. Para obtener más información, visite http://incubator.apache.org/

Acerca de la Fundación de Software Apache (ASF)

Establecida en 1999, The Apache Software Foundation es la fundación de código abierto más grande del mundo, administra más de 227 millones de líneas de código y proporciona al público más de $ 22 mil millones en software sin costo alguno. La comunidad de voluntarios de ASF creció de 21 fundadores originales que supervisan el servidor Apache HTTP a más de 820 miembros individuales y 200 comités de gestión de proyectos que lideran con éxito más de 350 proyectos e iniciativas de Apache en colaboración con más de 8400 miembros a través del proceso meritocrático de ASF conocido como «The Camino Apache». El software Apache es parte integral de casi todos los dispositivos informáticos de los usuarios finales, desde computadoras portátiles hasta tabletas y dispositivos móviles en empresas y aplicaciones de misión crítica. Los proyectos de Apache potencian la mayor parte de Internet, administran exabytes de datos, ejecutan teraflops de operaciones y almacenan miles de millones de objetos en prácticamente todas las industrias. La Licencia Apache v2 comercialmente amigable y permisiva es un estándar de la industria de código abierto, que ayuda a lanzar corporaciones de miles de millones de dólares y beneficia a innumerables usuarios en todo el mundo. La ASF es una organización benéfica sin fines de lucro 501(c)(3) de EE. UU. financiada por donaciones individuales y patrocinadores corporativos que incluyen Aetna, Alibaba Cloud Computing, Amazon Web Services, Anonymous, Baidu, Bloomberg, Capital One, Cloudera, Comcast , Confluent, Didi Chuxing, Facebook, Google, Huawei, IBM, Indeed, LINE Corporation, Microsoft, Namebase, Pineapple Fund, Red Hat, Replicated, Talend, Target, Tencent, Union Investment, VMware, Workday y Yahoo!. Para obtener más información, visite http://apache.org/ y https://twitter.com/TheASF

© La Fundación de Software Apache. «Apache», «YuniKorn», «Apache YuniKorn» y «ApacheCon» son marcas registradas o marcas comerciales de Apache Software Foundation en los Estados Unidos y/o en otros países. Todas las demás marcas y marcas registradas son propiedad de sus respectivos dueños.

# # #