Suscríbase a nuestros boletines diarios y semanales para recibir las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder en la industria. Más información Los chips gráficos, o GPU, son los motores de la revolución de la IA, que impulsan los grandes modelos de lenguaje (LLM) que sustentan los chatbots y otras aplicaciones de IA. Dado que es probable que los precios de estos chips fluctúen significativamente en los próximos años, muchas empresas necesitarán aprender a gestionar los costos variables de un producto crítico por primera vez. Esta es una disciplina con la que algunas industrias ya están familiarizadas. Las empresas de sectores de uso intensivo de energía, como la minería, están acostumbradas a gestionar los costos fluctuantes de la energía, equilibrando diferentes fuentes de energía para lograr la combinación adecuada de disponibilidad y precio. Las empresas de logística hacen esto con los costos de envío, que están fluctuando enormemente en este momento gracias a la interrupción en los canales de Suez y Panamá. Volatilidad por delante: el enigma del costo de cómputo La volatilidad del costo de cómputo es diferente porque afectará a las industrias que no tienen experiencia con este tipo de gestión de costos. Los servicios financieros y las empresas farmacéuticas, por ejemplo, no suelen participar en el comercio de energía o envío, pero se encuentran entre las empresas que se beneficiarán enormemente de la IA. Tendrán que aprender rápido. Nvidia es el principal proveedor de GPU, lo que explica por qué su valoración se disparó este año. Las GPU son apreciadas porque pueden procesar muchos cálculos en paralelo, lo que las hace ideales para entrenar e implementar LLM. Los chips de Nvidia han sido tan buscados que una empresa los ha enviado en un vehículo blindado. Es probable que los costos asociados con las GPU sigan fluctuando significativamente y serán difíciles de anticipar, afectados por los fundamentos de la oferta y la demanda. Factores impulsores de la volatilidad del costo de la GPU Es casi seguro que la demanda aumentará a medida que las empresas sigan desarrollando IA a un ritmo rápido. La firma de inversión Mizuho ha dicho que el mercado total de GPU podría crecer diez veces en los próximos cinco años a más de $ 400 mil millones, a medida que las empresas se apresuran a implementar nuevas aplicaciones de IA. La oferta depende de varios factores que son difíciles de predecir. Incluyen la capacidad de fabricación, que es costosa de escalar, así como consideraciones geopolíticas: muchas GPU se fabrican en Taiwán, cuya independencia continua está amenazada por China. Los suministros ya han sido escasos, y algunas empresas habrían esperado seis meses para tener en sus manos los potentes chips H100 de Nvidia. A medida que las empresas se vuelven más dependientes de las GPU para impulsar las aplicaciones de IA, esta dinámica significa que necesitarán familiarizarse con la gestión de los costos variables. Estrategias para la gestión de costos de GPU Para fijar los costos, más empresas pueden optar por administrar sus propios servidores de GPU en lugar de alquilárselos a proveedores de la nube. Esto crea una sobrecarga adicional, pero proporciona un mayor control y puede conducir a menores costos a largo plazo. Las empresas también pueden comprar GPU defensivamente: incluso si aún no saben cómo las usarán, estos contratos defensivos pueden garantizar que tendrán acceso a las GPU para necesidades futuras, y que sus competidores no lo harán. No todas las GPU son iguales, por lo que las empresas deben optimizar los costos asegurando el tipo correcto de GPU para su propósito previsto. Las GPU más potentes son las más relevantes para el puñado de organizaciones que entrenan modelos fundacionales gigantes, como GPT de OpenAI y LLama de Meta. La mayoría de las empresas realizarán trabajos de inferencia menos exigentes y de mayor volumen, que implican comparar datos con un modelo existente, para lo cual una mayor cantidad de GPU de menor rendimiento sería la estrategia adecuada. La ubicación geográfica es otra palanca que las organizaciones pueden utilizar para gestionar los costos. Las GPU consumen mucha energía y una gran parte de su economía unitaria es el costo de la electricidad que se utiliza para alimentarlas. Ubicar servidores GPU en una región con acceso a energía barata y abundante, como Noruega, puede reducir significativamente los costos en comparación con una región como el este de EE. UU., donde los costos de la electricidad suelen ser más altos. Los CIO también deben analizar de cerca las compensaciones entre el costo y la calidad de las aplicaciones de IA para lograr el equilibrio más efectivo. Es posible que puedan usar menos potencia informática para ejecutar modelos para aplicaciones que exigen menos precisión, por ejemplo, o que no son tan estratégicas para su negocio. Cambiar entre diferentes proveedores de servicios en la nube y diferentes modelos de IA proporciona una forma adicional para que las organizaciones optimicen los costos, de manera similar a como las empresas de logística usan diferentes modos de transporte y rutas de envío para administrar los costos en la actualidad. También pueden adoptar tecnologías que optimicen el costo de operar modelos LLM para diferentes casos de uso, lo que hace que el uso de la GPU sea más eficiente. El desafío de la previsión de la demanda Todo el campo de la computación de IA sigue avanzando rápidamente, lo que dificulta que las organizaciones pronostiquen su propia demanda de GPU con precisión. Los proveedores están construyendo LLM más nuevos que tienen arquitecturas más eficientes, como el diseño de «mezcla de expertos» de Mistral, que requiere que solo se utilicen partes de un modelo para diferentes tareas. Mientras tanto, los fabricantes de chips, incluidos Nvidia y TitanML, están trabajando en técnicas para hacer que la inferencia sea más eficiente. Al mismo tiempo, están surgiendo nuevas aplicaciones y casos de uso que se suman al desafío de predecir la demanda con precisión. Incluso los casos de uso relativamente simples actuales, como los chatbots RAG, pueden ver cambios en la forma en que se construyen, lo que aumenta o disminuye la demanda de GPU. Predecir la demanda de GPU es un territorio inexplorado para la mayoría de las empresas y será difícil hacerlo bien. Comience a planificar los costos volátiles de la GPU ahora El aumento en el desarrollo de IA no muestra signos de disminuir. Los ingresos globales asociados con el software, el hardware, el servicio y las ventas de IA crecerán un 19% por año hasta 2026 para alcanzar los $ 900 mil millones, según Bank of America Global Research e IDC. Esta es una gran noticia para los fabricantes de chips como Nvidia, pero para muchas empresas será necesario aprender una disciplina completamente nueva de gestión de costos. Deberían empezar a planificar ahora. Florian Douetteau es el director ejecutivo y cofundador de Dataiku. DataDecisionMakers ¡Bienvenido a la comunidad VentureBeat! DataDecisionMakers es un lugar donde los expertos, incluidos los técnicos que trabajan con datos, pueden compartir ideas e innovaciones relacionadas con los datos. Si desea leer sobre ideas de vanguardia e información actualizada, mejores prácticas y el futuro de los datos y la tecnología de datos, únase a nosotros en DataDecisionMakers. ¡Incluso podría considerar contribuir con un artículo propio! Lea más de DataDecisionMakers