Únase a nosotros en Atlanta el 10 de abril y explore el panorama de la fuerza laboral de seguridad. Exploraremos la visión, los beneficios y los casos de uso de la IA para los equipos de seguridad. Solicite una invitación aquí. MLCommons sale hoy con sus puntos de referencia MLPerf 4.0 para inferencia, mostrando una vez más el ritmo implacable de las mejoras de software y hardware. A medida que la IA generativa continúa desarrollándose y ganando adopción, existe una clara necesidad de un conjunto de puntos de referencia de rendimiento neutrales para el proveedor, que es lo que MLCommons proporciona con el conjunto de puntos de referencia MLPerf. Existen múltiples puntos de referencia de MLPerf y el entrenamiento y la inferencia se encuentran entre los más útiles. Los nuevos resultados de MLPerf 4.0 Inference son la primera actualización de los puntos de referencia de inferencia desde que se publicaron los resultados de MLPerf 3.1 en septiembre de 2023. No hace falta decir que han sucedido muchas cosas en el mundo de la IA durante los últimos seis meses, y los grandes proveedores de hardware, incluidos Nvidia y Intel ha estado ocupada mejorando tanto el hardware como el software para optimizar aún más la inferencia. Los resultados de la inferencia de MLPerf 4.0 muestran mejoras marcadas para las tecnologías de Nvidia e Intel. El punto de referencia de inferencia de MLPerf también ha cambiado. Con el punto de referencia MLPerf 3.1, se incluyeron modelos de lenguaje grande (LLM) con el modelo de parámetros GPT-J 6B (mil millones) para realizar resúmenes de texto. Con el nuevo punto de referencia MLPerf 4.0, el popular modelo abierto de parámetros Llama 2 de 70 mil millones se está comparando para preguntas y respuestas (Q&A). MLPerf 4 también incluye por primera vez un punto de referencia para la generación de imágenes de IA con difusión estable. Evento VB The AI ​​Impact Tour – Atlanta Continuando con nuestro recorrido, nos dirigimos a Atlanta para la parada del AI Impact Tour el 10 de abril. Este evento exclusivo al que solo se puede acceder por invitación, en asociación con Microsoft, incluirá debates sobre cómo la IA generativa está transformando la fuerza laboral de seguridad. El espacio es limitado, así que solicite una invitación hoy. Solicite una invitación «MLPerf es realmente una especie de punto de referencia estándar de la industria para ayudar a mejorar la velocidad, la eficiencia y la precisión de la IA», dijo el fundador y director ejecutivo de MLCommons, David Kanter, en una conferencia de prensa. Por qué son importantes los puntos de referencia de IA Hay más de 8500 resultados de rendimiento en el último punto de referencia de MLCommons, que prueba todo tipo de combinaciones y permutaciones de hardware, software y casos de uso de inferencia de IA. Kanter enfatizó que el proceso de evaluación comparativa de MLPerf tiene un propósito real. “Para recordarle a la gente el principio detrás de los puntos de referencia. En realidad, el objetivo es establecer buenas métricas para el desempeño de la IA”, dijo. «La cuestión es que una vez que podamos medir estas cosas, podremos empezar a mejorarlas». Otro objetivo de MLCommons es ayudar a alinear a toda la industria. Todos los resultados de las pruebas comparativas se realizan en pruebas con conjuntos de datos y parámetros de configuración similares en diferentes hardware y software. Todos los remitentes de una prueba determinada ven los resultados, de modo que si hay alguna pregunta de un remitente diferente, se puede abordar. En última instancia, el enfoque estandarizado para medir el desempeño de la IA consiste en permitir a las empresas tomar decisiones informadas. «Esto ayuda a informar a los compradores, ayudándolos a tomar decisiones y comprender cómo los sistemas, ya sean sistemas locales, sistemas en la nube o sistemas integrados, se desempeñan en cargas de trabajo relevantes», dijo Kanter. «Si está buscando comprar un sistema para ejecutar inferencia de modelos de lenguaje grandes, puede utilizar puntos de referencia como guía para saber cómo deberían verse esos sistemas». Nvidia triplica el rendimiento de inferencia de IA, con el mismo hardware. Una vez más, Nvidia domina los puntos de referencia MLPerf con una serie de resultados impresionantes. Si bien es de esperar que el nuevo hardware produzca un mejor rendimiento, Nvidia también puede obtener un mejor rendimiento de su hardware existente. Utilizando la tecnología de inferencia de código abierto TensorRT-LLM de Nvidia, Nvidia pudo casi triplicar el rendimiento de inferencia para el resumen de texto con GPT-J LLM en su GPU H100 Hopper. En una rueda de prensa con la prensa y los analistas, Dave Salvator, director de productos de computación acelerada de Nvidia, subrayó que el aumento del rendimiento se produjo en sólo seis meses. «Hemos entrado y hemos podido triplicar la cantidad de rendimiento que estamos viendo y estamos muy, muy satisfechos con este resultado», dijo Salvator. «Nuestro equipo de ingeniería continúa haciendo un gran trabajo para encontrar formas de extraer más rendimiento de la arquitectura Hopper». Nvidia acaba de anunciar su GPU Blackwell de última generación la semana pasada en GTC, que es la sucesora de la arquitectura Hopper. En respuesta a una pregunta de VentureBeat, Salvator dijo que no estaba seguro exactamente de cuándo se compararían las GPU basadas en Blackwell para MLPerf, pero esperaba que fuera lo antes posible. Incluso antes de que se compare Blackwell, los resultados de MLPerf 4.0 marcan el debut de los resultados de la GPU H200, que mejoran aún más las capacidades de inferencia del H100. Los resultados del H200 son hasta un 45 % más rápidos que los del H100 cuando se evalúan utilizando Llama 2 para la inferencia. Intel recuerda a la industria que las CPU también son importantes para la inferencia. Intel también es un participante muy activo en los puntos de referencia MLPerf 4.0 con su acelerador Habana AI y sus tecnologías de CPU Xeon. Con Gaudi, los resultados de rendimiento reales de Intel están por detrás de los de Nvidia H100, aunque la compañía afirma que ofrece un mejor precio por rendimiento. Lo que quizás sea más interesante son las impresionantes ganancias provenientes del procesador Intel Xeon de quinta generación a modo de inferencia. En una sesión informativa con la prensa y analistas, Ronak Shah, director de productos de IA para Xeon en Intel, comentó que el Intel Xeon de quinta generación era 1,42 veces más rápido para la inferencia que el Intel Xeon de cuarta generación anterior en una variedad de categorías de MLPerf. Si analizamos específicamente el caso de uso de resumen de texto GPT-J LLM, el Xeon de quinta generación fue hasta 1,9 veces más rápido. «Reconocemos que muchos clientes empresariales que están implementando sus soluciones de IA, lo harán en un entorno mixto de propósito general y de IA», dijo Shah. «Por eso diseñamos CPU que se combinan entre sí, sólidas capacidades de uso general con sólidas capacidades de IA con nuestro motor AMX». VB Daily ¡Manténgase informado! Reciba las últimas noticias en su bandeja de entrada diariamente. Al suscribirse, acepta los Términos de servicio de VentureBeat. Gracias por suscribirte. Consulte más boletines de VB aquí. Ocurrió un error.

Source link