Los usuarios líderes y los puntos de referencia estándar de la industria están de acuerdo: las GPU NVIDIA H100 Tensor Core ofrecen el mejor rendimiento de IA, especialmente en los modelos de lenguaje grande (LLM) que impulsan la IA generativa.
Las GPU H100 establecieron nuevos récords en las ocho pruebas en los últimos puntos de referencia de capacitación de MLPerf publicados hoy, sobresaliendo en una nueva prueba de MLPerf para IA generativa. Esa excelencia se entrega tanto por acelerador como a escala en servidores masivos.
Por ejemplo, en un clúster disponible comercialmente de 3584 GPU H100, desarrollado conjuntamente por la startup Inflection AI y operado por CoreWeave, un proveedor de servicios en la nube que se especializa en cargas de trabajo aceleradas por GPU, el sistema completó el punto de referencia de capacitación masivo basado en GPT-3 en menos de once minutos
“Nuestros clientes están construyendo IA generativa y LLM de última generación a escala hoy, gracias a nuestras miles de GPU H100 en redes InfiniBand rápidas y de baja latencia”, dijo Brian Venturo, cofundador y CTO de CoreWeave. “Nuestra presentación conjunta de MLPerf con NVIDIA demuestra claramente el gran rendimiento que disfrutan nuestros clientes”.
Máximo rendimiento disponible hoy
Inflection AI aprovechó ese rendimiento para construir el LLM avanzado detrás de su primera IA personal, Pi, que significa inteligencia personal.. La compañía actuará como un estudio de IA, creando IA personales con las que los usuarios pueden interactuar de manera simple y natural.
“Cualquiera puede experimentar el poder de una IA personal hoy basada en nuestro modelo de lenguaje grande de última generación que fue entrenado en la poderosa red de GPU H100 de CoreWeave”, dijo Mustafa Suleyman, CEO de Inflection AI.
Cofundada a principios de 2022 por Mustafa y Karén Simonyan de DeepMind y Reid Hoffman, Inflection AI tiene como objetivo trabajar con CoreWeave para construir uno de los clústeres informáticos más grandes del mundo con GPU NVIDIA.
Cuento de la cinta
Estas experiencias de usuario reflejan el rendimiento demostrado en los puntos de referencia de MLPerf anunciados hoy.
Las GPU H100 brindaron el rendimiento más alto en todos los puntos de referencia, incluidos modelos de lenguaje grande, recomendadores, visión por computadora, imágenes médicas y reconocimiento de voz. Fueron los únicos chips que ejecutaron las ocho pruebas, lo que demuestra la versatilidad de la plataforma NVIDIA AI.
Excelencia corriendo a escala
La capacitación suele ser un trabajo ejecutado a escala por muchas GPU que trabajan en conjunto. En cada prueba de MLPerf, las GPU H100 establecieron nuevos récords de rendimiento a escala para el entrenamiento de IA.
Las optimizaciones en toda la pila de tecnología permitieron una escala de rendimiento casi lineal en la exigente prueba LLM a medida que las presentaciones escalaron de cientos a miles de GPU H100.
Además, CoreWeave entregó desde la nube un rendimiento similar al que NVIDIA logró desde una supercomputadora de IA que se ejecuta en un centro de datos local. Eso es un testimonio de la red de baja latencia de los usos de CoreWeave de red NVIDIA Quantum-2 InfiniBand.
En esta ronda, MLPerf también actualizó su punto de referencia para los sistemas de recomendación.
La nueva prueba utiliza un conjunto de datos más grande y un modelo de IA más moderno para reflejar mejor los desafíos que enfrentan los proveedores de servicios en la nube. NVIDIA fue la única empresa que presentó resultados en el benchmark mejorado.
Un ecosistema de IA de NVIDIA en expansión
Casi una docena de empresas presentaron resultados en la plataforma NVIDIA en esta ronda. Su trabajo muestra que NVIDIA AI está respaldada por el ecosistema más amplio de la industria en aprendizaje automático.
Las presentaciones provinieron de los principales fabricantes de sistemas que incluyen ASUS, Dell Technologies, GIGABYTE, Lenovo y QCT. Más de 30 presentaciones se ejecutaron en GPU H100.
Este nivel de participación les permite a los usuarios saber que pueden obtener un gran rendimiento con NVIDIA AI tanto en la nube como en servidores que se ejecutan en sus propios centros de datos.
Rendimiento en todas las cargas de trabajo
Los socios del ecosistema de NVIDIA participan en MLPerf porque saben que es una herramienta valiosa para los clientes que evalúan plataformas y proveedores de IA.
Los puntos de referencia cubren las cargas de trabajo que les interesan a los usuarios: visión por computadora, traducción y aprendizaje reforzado, además de IA generativa y sistemas de recomendación.
Los usuarios pueden confiar en los resultados de MLPerf para tomar decisiones de compra informadas, porque las pruebas son transparentes y objetivas. Los puntos de referencia cuentan con el respaldo de un amplio grupo que incluye Arm, Baidu, Facebook AI, Google, Harvard, Intel, Microsoft, Stanford y la Universidad de Toronto.
Los resultados de MLPerf están disponibles hoy en las plataformas H100, L4 y NVIDIA Jetson en los puntos de referencia de formación, inferencia y HPC de IA. También haremos presentaciones en los sistemas NVIDIA Grace Hopper en futuras rondas de MLPerf.
La importancia de la eficiencia energética
A medida que crecen los requisitos de rendimiento de la IA, es esencial expandir la eficiencia de cómo se logra ese rendimiento. Eso es lo que hace la computación acelerada.
Los centros de datos acelerados con GPU NVIDIA utilizan menos nodos de servidor, por lo que consumen menos energía y espacio de rack. Además, las redes aceleradas aumentan la eficiencia y el rendimiento, y las optimizaciones de software en curso brindan ganancias de factor x en el mismo hardware.
El rendimiento energéticamente eficiente también es bueno para el planeta y para el negocio. Un mayor rendimiento puede acelerar el tiempo de comercialización y permitir que las organizaciones construyan aplicaciones más avanzadas.
La eficiencia energética también reduce los costos porque los centros de datos acelerados con GPU NVIDIA usan menos nodos de servidor. De hecho, NVIDIA impulsa 22 de las 30 mejores supercomputadoras en la última lista Green500.
Software disponible para todos
NVIDIA AI Enterprise, la capa de software de la plataforma NVIDIA AI, permite un rendimiento optimizado en la infraestructura informática acelerada líder. El software viene con el soporte, la seguridad y la confiabilidad de nivel empresarial necesarios para ejecutar AI en el centro de datos corporativo.
Todo el software utilizado para estas pruebas está disponible en el repositorio de MLPerf, por lo que prácticamente cualquier persona puede obtener estos resultados de clase mundial.
Las optimizaciones se pliegan continuamente en contenedores disponibles en NGC, el catálogo de NVIDIA para software acelerado por GPU.
Lea este blog técnico para profundizar en las optimizaciones que impulsan el rendimiento y la eficiencia de MLPerf de NVIDIA.