En noticias de última hora sobre tendencias, Inflection AI reveló que su última plataforma empresarial abandonaría las GPU Nvidia por los aceleradores Gaudi 3 de Intel. «Si bien la aplicación de cliente Pi de Inflection AI se ejecutaba anteriormente en GPU Nvidia, Inflection 3.0 estará impulsada por Gaudi 3 con instancias locales o en la nube impulsadas por [the Tiber] AI Cloud», según Intel. Inflection AI comenzó en 2022 como un constructor de modelos que desarrollaba un asistente personal conversacional llamado Pi. Sin embargo, tras la partida de sus fundadores clave, Mustafa Suleyman y Karén Simonyan, a Microsoft esta primavera, la startup ha Desde entonces, cambió su enfoque a la creación de modelos personalizados y optimizados para empresas que utilizan sus datos. La última versión de la plataforma de la startup, Inflection 3.0, tiene como objetivo el ajuste de sus modelos utilizando sus propios conjuntos de datos patentados con el objetivo de crear IA completa específica para la empresa. apps. El propio Intel será uno de los primeros clientes en adoptar el servicio, lo que nos hace preguntarnos si Inflection pagará el precio completo por los aceleradores. Si bien Inflection ejecutará el servicio en los aceleradores Gaudi 3, no parece ser así. Estaremos acumulando sistemas en el corto plazo. Al igual que Inflection 2.5, que estaba alojado en Azure, la última versión se ejecutará en el servicio Tiber AI Cloud de Intel. Sin embargo, el equipo ve la necesidad de una infraestructura física, al menos para los clientes que lo harían. en lugar de eso, mantenga sus datos en las instalaciones. A partir del primer trimestre de 2025, Inflection planea ofrecer un sistema físico basado en los aceleradores de inteligencia artificial de Intel. Observaremos que sólo porque la startup de IA esté utilizando aceleradores Gaudi 3 para impulsar su plataforma empresarial, no significa que los clientes estén obligados a ejecutar sus modelos terminados. El desarrollo de software y modelos de IA no es precisamente barato y, en comparación con el H100 de Nvidia, el Gaudi 3 de Intel es una ganga. «Al ejecutar Inflection 3.0 en Intel, estamos viendo un rendimiento de precio hasta 2 veces mejor… en comparación con las ofertas competitivas actuales», escribió el CEO de Inflection AI, Sean White, en una publicación de blog el lunes. Y al menos en el papel, Gaudi 3 promete no sólo ser más rápido para el entrenamiento y la inferencia que el venerable H100 de Nvidia, sino también más barato. Anunciados en Intel Vision en abril, los aceleradores Gaudi 3 de Habana Lab cuentan con 128 GB de memoria HBM2e, buena para 3,7 Tbps de ancho de banda y 1.835 teraFLOPS de rendimiento denso FP8 o BF16. Si bien con una precisión de 8 bits está aproximadamente a la par con el H100, con una precisión de 16 bits ofrece casi el doble de rendimiento de punto flotante denso, lo que marca una gran diferencia para las cargas de trabajo de entrenamiento y ajuste a las que se dirige Inflection. Intel se encuentra entre los menos favorecidos en el campo de la IA, y la disponibilidad general del chip no está en el momento oportuno con el lanzamiento de las GPU Blackwell y AMD MI325X de 288 GB de Nvidia, ambas previstas para el cuarto trimestre. Como tal, Intel está fijando el precio de sus aceleradores de manera bastante agresiva. En Computex esta primavera, Intel reveló que un solo sistema Gaudi 3 con ocho aceleradores costaría sólo 125.000 dólares o alrededor de dos tercios de un sistema H100 equivalente, según el director ejecutivo Pat Gelsinger. La inflexión no es la única victoria que Intel ha logrado en los últimos tiempos. En agosto, Big Blue anunció que implementaría los aceleradores Gaudi 3 de Intel en IBM Cloud con disponibilidad prevista para principios de 2025. En el futuro, IBM planea ampliar el soporte para Gaudi 3 a su plataforma watsonx AI. Mientras tanto, Intel le dice a El Reg que el acelerador ya se está enviando a los fabricantes de equipos originales, incluidos Dell Technologies y Supermicro. Si bien lograr que los principales fabricantes de equipos originales tomen en serio a Gaudí es una victoria para Intel, el futuro de la plataforma es todo menos seguro. Como informamos anteriormente, Gaudí 3 es el último hurra para el acelerador desarrollado por Habana-Labs. A partir del próximo año, Gaudí dará paso a una GPU llamada Falcon Shores, que fusionará el ADN de los gráficos Xe de Intel con la química de Habana, lo que generará preguntas comprensibles sobre el camino de la migración. Intel ha sostenido que para los clientes que codifican en marcos de alto nivel como PyTorch, la migración será prácticamente perfecta. Para aquellos que crean aplicaciones de IA en un nivel inferior, el fabricante de chips ha prometido proporcionar pautas adicionales antes del debut de Falcon Shores. ®