Jensen Huang, presidente de Nvidia, sosteniendo la CPU con superchip Grace hopper utilizada para la IA generativa en la presentación principal de Supermicro durante Computex 2023. Walid Berrazeg | Cohete ligero | Getty ImagesNvidia presentó el lunes el H200, una unidad de procesamiento de gráficos diseñada para entrenar e implementar los tipos de modelos de inteligencia artificial que están impulsando el auge de la IA generativa. La nueva GPU es una actualización del H100, el chip que OpenAI utilizó para entrenar sus sistemas más avanzados. modelo de lenguaje grande, GPT-4. Grandes empresas, nuevas empresas y agencias gubernamentales compiten por un suministro limitado de chips. Los chips H100 cuestan entre 25.000 y 40.000 dólares, según una estimación de Raymond James, y se necesitan miles de ellos trabajando juntos para crear los modelos más grandes en un proceso. llamado «capacitación». El entusiasmo por las GPU de inteligencia artificial de Nvidia ha sobrealimentado las acciones de la compañía, que han subido más del 230% en lo que va de 2023. Nvidia espera alrededor de $16 mil millones de dólares de ingresos para su tercer trimestre fiscal, un 170% más que hace un año. La mejora clave del H200 es que incluye 141 GB de memoria «HBM3» de próxima generación que ayudará al chip a realizar «inferencias» o utilizar un modelo grande después de haber sido entrenado para generar texto, imágenes o predicciones. Nvidia dijo que el H200 generará produce casi el doble de velocidad que el H100. Esto se basa en una prueba realizada con Llama 2 LLM de Meta. El H200, que se espera que se envíe en el segundo trimestre de 2024, competirá con la GPU MI300X de AMD. El chip de AMD, similar al H200, tiene memoria adicional sobre sus predecesores, lo que ayuda a colocar modelos grandes en el hardware para ejecutar inferencias. Chips Nvidia H200 en un sistema Nvidia HGX de ocho GPU. NvidiaNvidia dijo que el H200 será compatible con el H100. lo que significa que las empresas de IA que ya están entrenando con el modelo anterior no necesitarán cambiar sus sistemas de servidor o software para usar la nueva versión. Nvidia dice que estará disponible en configuraciones de servidor de cuatro GPU u ocho GPU en el HGX completo de la compañía. sistemas, así como en un chip llamado GH200, que combina la GPU H200 con un procesador basado en Arm. Sin embargo, es posible que el H200 no mantenga la corona del chip Nvidia AI más rápido por mucho tiempo. Si bien empresas como Nvidia ofrecen muchas configuraciones diferentes de En sus chips, los nuevos semiconductores a menudo dan un gran paso adelante aproximadamente cada dos años, cuando los fabricantes pasan a una arquitectura diferente que desbloquea ganancias de rendimiento más significativas que agregar memoria u otras optimizaciones más pequeñas. Tanto el H100 como el H200 se basan en la arquitectura Hopper de Nvidia. En octubre, Nvidia dijo a los inversores que pasaría de una cadencia de arquitectura de dos años a un patrón de lanzamiento de un año debido a la alta demanda de sus GPU. La compañía mostró una diapositiva que sugiere que anunciará y lanzará su chip B100, basado en la próxima arquitectura Blackwell, en 2024. MIRAR: Creemos firmemente en la tendencia de la IA que se implementará el próximo año. No se pierda estas historias de CNBC PRO:

Source link