Únase a los líderes en San Francisco el 10 de enero para una noche exclusiva de networking, conocimientos y conversaciones. Solicite una invitación aquí. Nvidia no es la única empresa que fabrica aceleradores de IA para entrenamiento e inferencia, es un espacio en el que Intel compite agresivamente y también sobresale con su tecnología Intel Gaudi 2, según una nueva investigación. Databricks realizó una nueva investigación que se publica hoy y revela que Intel Gaudi 2 ofrece una fuerte competencia de rendimiento contra los aceleradores de IA líderes en la industria de Nvidia. La investigación de Databricks encontró que para la inferencia de modelos de lenguaje grande (LLM), Gaudi 2 igualó la latencia de los sistemas Nvidia H100 en la decodificación y superó a la Nvidia A100. La investigación encontró que la inferencia de Gaudí 2 logra una mayor utilización del ancho de banda de la memoria que H100 y A100. Nvidia todavía ofrece más rendimiento de entrenamiento con sus aceleradores de gama alta. Utilizando la fundición Databricks MosaicML LLM para el entrenamiento, los investigadores descubrieron que Gaudi 2 logró el segundo rendimiento de entrenamiento LLM de un solo nodo más rápido después de NVIDIA H100, con más de 260 TFLOPS/chip. En general, la investigación de Databricks informó que, según los precios de la nube pública, Gaud i2 tiene la mejor relación dólar por rendimiento tanto para entrenamiento como para inferencia en comparación con A100 y H100. Intel ha estado proporcionando sus propios resultados de pruebas en Gaudi 2 a través del punto de referencia MLcommons MLperf tanto para entrenamiento como para inferencia. Los nuevos datos de Databricks proporcionan una validación adicional para Intel sobre el rendimiento de su tecnología Gaudí, por parte de un tercero. Evento VB The AI ​​Impact Tour Cómo llegar a un plan de gobernanza de AI: solicite una invitación para el evento del 10 de enero. Más información «Quedamos impresionados por el rendimiento de Gaudi 2, especialmente la alta utilización lograda para la inferencia LLM», dijo a VentureBeat Abhinav Venigalla, arquitecto líder de PNL en Databricks. «Anticipamos mayores mejoras en el rendimiento de la inferencia y la capacitación utilizando el soporte FP8 de Gaudi 2, que está disponible en su última versión de software; debido a limitaciones de tiempo, solo pudimos examinar el rendimiento utilizando BF16». Las cifras de rendimiento de Databricks tampoco sorprenden a Intel. Eitan Medina, director de operaciones de Habana Labs, una empresa de Intel, dijo a VentureBeat que el informe es consistente con los datos que mide Intel y con los comentarios que recibe de los clientes. «Siempre es bueno obtener la validación de lo que decimos», dijo Medina. «Dado que muchas personas dicen que Gaudí es una especie de secreto mejor guardado de Intel, en realidad es importante tener este tipo de reseñas de publicaciones disponibles para que cada vez más clientes sepan que Gaudí es una alternativa viable». Intel continúa registrando ganancias competitivas para Gaudí Intel adquirió la startup de chips de IA Habana Labs y su tecnología Gaudí en 2019 por 2 mil millones de dólares y ha estado mejorando constantemente la tecnología en los años transcurridos desde entonces. Una de las formas en que los proveedores intentan demostrar el rendimiento con puntos de referencia estándar de la industria. Tanto Nvidia como Intel participan habitualmente en los puntos de referencia MLCommons MLPerf tanto para entrenamiento como para inferencia, que se actualizan varias veces al año. En los últimos puntos de referencia de entrenamiento de MLPerf 3.1 publicados en noviembre, tanto Nvidia como Intel obtuvieron nuevos récords de velocidad de entrenamiento de LLM. Varios meses antes, en septiembre, se publicaron los puntos de referencia de inferencia MLPerf 3.1, también con un sólido rendimiento competitivo tanto para Nvidia como para Intel. Si bien los puntos de referencia como MLPerf y el informe de Databricks son valiosos, Medina señaló que muchos clientes confían en sus propias pruebas para asegurarse de que la pila de hardware y software funcione para un modelo y caso de uso específicos. «La madurez de la pila de software es increíblemente importante porque la gente desconfía de las organizaciones de evaluación comparativa donde los proveedores están optimizando al máximo el cumplimiento de ese punto de referencia específico», dijo. Según Medina, MLPerf tiene su lugar, porque la gente sabe que para presentar resultados, una pila de tecnología debe superar un cierto nivel de madurez. Dicho esto, enfatizó que los resultados de MLPerf no son algo en lo que los clientes confiarán para tomar una decisión comercial. «Los resultados de MLperf son una especie de filtro de madurez que las organizaciones utilizan antes de invertir tiempo en pruebas», dijo Medina. Gaudí 3 llegará en 2024 Los nuevos datos sobre Gaudí 2 llegan mientras Intel se prepara para lanzar la tecnología aceleradora de IA Gaudi 3 en 2024. Gaudí 2 se desarrolla con un proceso de 7 nanómetros, mientras que Gaudí 3 se basa en un proceso de 5 nanómetros y Proporciona 4 veces la potencia de procesamiento y duplica el ancho de banda de la red. Medina dijo que Gaudi 3 se lanzará y se producirá en masa en 2024. “Gaudi 3 es un producto que toma al Gaudi 2 y simplemente ofrece liderazgo en rendimiento”, dijo Medina. «Es realmente un gran salto en el rendimiento que se traduce en ventajas de rendimiento por dólar y rendimiento por vatio». Mirando más allá de Gaudí 3 y probablemente hacia 2025, Intel está trabajando en generaciones futuras que convergerán la informática de alto rendimiento (HPC) de la empresa y la tecnología de aceleración de IA. Intel también sigue viendo valor en sus tecnologías de CPU para cargas de trabajo de inferencia de IA. Intel anunció recientemente sus procesadores Xeon de quinta generación con aceleración de IA. “Las CPU todavía tienen un porcentaje significativo de inferencia e incluso un ajuste fino puede ser ventajoso en las CPU”, dijo Medina. “Las CPU participan en la preparación de datos y, por supuesto, se ofrecen junto con el acelerador Gaudí para cargas de trabajo donde la densidad de cómputo para IA es extrema; por lo que la estrategia general es ofrecer una gama de soluciones”. La misión de VentureBeat es ser una plaza digital para que los tomadores de decisiones técnicas adquieran conocimientos sobre tecnología empresarial transformadora y realicen transacciones. Descubra nuestros Briefings.

Source link