¡Es hora de celebrar a las mujeres increíbles que lideran el camino en IA! Nomine a sus líderes inspiradoras para los premios Women in AI Awards de VentureBeat hoy antes del 18 de junio. Obtenga más información A medida que la inteligencia artificial (IA) arrasa en el mundo, se reaviva un viejo debate: ¿deberían las empresas autohospedar herramientas de IA o confiar en la nube? Por ejemplo, Sid Premkumar, fundador de la startup de IA Lytix, compartió recientemente su análisis sobre el alojamiento propio de un modelo de IA de código abierto, sugiriendo que podría ser más barato que usar Amazon Web Services (AWS). La publicación del blog de Premkumar, que detalla una comparación de costos entre ejecutar el modelo Llama-3 8B en AWS y el autohospedaje del hardware, ha provocado una animada discusión que recuerda a los primeros días de la computación en la nube, cuando las empresas sopesaban los pros y los contras de la computación local. infraestructura versus el modelo de nube emergente. El análisis de Premkumar sugirió que, si bien AWS podría ofrecer un precio de 1 dólar por millón de tokens, el autohospedaje podría potencialmente reducir este costo a sólo 0,01 dólares por millón de tokens, aunque con un período de equilibrio más largo, de alrededor de 5,5 años. Sin embargo, esta comparación de costos pasa por alto un factor crucial: el costo total de propiedad (TCO). Es un debate que hemos visto antes durante “Las Grandes Guerras de la Nube”, donde el modelo de computación en la nube salió victorioso a pesar del escepticismo inicial. La pregunta sigue siendo: ¿regresará la infraestructura de IA local o volverá a dominar la nube? La inscripción para VB Transform 2024 está abierta Únase a los líderes empresariales en San Francisco del 9 al 11 de julio para nuestro evento emblemático de IA. Conéctese con pares, explore las oportunidades y desafíos de la IA generativa y aprenda cómo integrar aplicaciones de IA en su industria. Regístrese ahora Una mirada más cercana al análisis de Premkumar La publicación del blog de Premkumar proporciona un desglose detallado de los costos asociados con el autohospedaje del modelo Llama-3 8B. Compara el costo de ejecutar el modelo en la instancia g4dn.16xlarge de AWS, que cuenta con 4 GPU Nvidia Tesla T4, 192 GB de memoria y 48 vCPU, con el costo de autohospedar una configuración de hardware similar. Según los cálculos de Premkumar, ejecutar el modelo en AWS costaría aproximadamente 2.816,64 dólares al mes, suponiendo una utilización completa. Dado que el modelo es capaz de procesar alrededor de 157 millones de tokens por mes, esto se traduce en un costo de $17,93 por millón de tokens. Por el contrario, Premkumar estima que el autohospedaje del hardware requeriría una inversión inicial de alrededor de 3.800 dólares para 4 GPU Nvidia Tesla T4 y 1.000 dólares adicionales para el resto del sistema. Teniendo en cuenta los costos de energía de aproximadamente $100 por mes, la solución autohospedada podría procesar los mismos 157 millones de tokens a un costo de solo $0,000000636637738 por token, o $0,01 por millón de tokens. Si bien esto puede parecer un argumento convincente a favor del autohospedaje, es importante señalar que el análisis de Premkumar supone una utilización del 100% del hardware, lo que rara vez ocurre en escenarios del mundo real. Además, el enfoque autohospedado requeriría un período de equilibrio de alrededor de 5,5 años para recuperar la inversión inicial en hardware, tiempo durante el cual es posible que ya haya surgido hardware más nuevo y potente. Un debate familiar En los primeros días de la computación en la nube, los defensores de la infraestructura local plantearon muchos argumentos apasionados y convincentes. Citaron la seguridad y el control de mantener los datos internamente, los posibles ahorros de costos al invertir en su propio hardware, un mejor rendimiento para tareas sensibles a la latencia, la flexibilidad de personalización y el deseo de evitar la dependencia del proveedor. Hoy en día, los defensores de la infraestructura de IA local están cantando una melodía similar. Argumentan que para industrias altamente reguladas como la atención médica y las finanzas, es preferible el cumplimiento y control local. Creen que invertir en hardware de IA nuevo y especializado puede ser más rentable a largo plazo que las tarifas actuales de la nube, especialmente para cargas de trabajo con muchos datos. Citan los beneficios de rendimiento para las tareas de IA sensibles a la latencia, la flexibilidad para personalizar la infraestructura según sus necesidades exactas y la necesidad de mantener los datos internamente para los requisitos de residencia. La mano ganadora de la nube A pesar de estos argumentos, la infraestructura de IA local simplemente no puede igualar las ventajas de la nube. He aquí por qué la nube todavía está preparada para ganar. Rentabilidad imbatible: proveedores de nube como AWS, Microsoft Azure y Google Cloud ofrecen economías de escala incomparables. Al considerar el TCO (incluidos los costos de hardware, mantenimiento, actualizaciones y dotación de personal), el modelo de pago por uso de la nube es innegablemente más rentable, especialmente para empresas con cargas de trabajo de IA variables o impredecibles. El gasto de capital inicial y los costos operativos continuos de la infraestructura local simplemente no pueden competir con las ventajas de costos de la nube. Acceso a habilidades especializadas: construir y mantener una infraestructura de IA requiere experiencia en un nicho cuyo desarrollo interno es costoso y requiere mucho tiempo. Los científicos de datos, los ingenieros de inteligencia artificial y los especialistas en infraestructura tienen una gran demanda y exigen salarios superiores. Los proveedores de la nube tienen estos recursos fácilmente disponibles, lo que brinda a las empresas acceso inmediato a las habilidades que necesitan sin la carga de reclutar, capacitar y retener un equipo interno. Agilidad en un campo que avanza rápidamente: la IA está evolucionando a un ritmo vertiginoso, con nuevos modelos, marcos y técnicas surgiendo constantemente. Las empresas deben centrarse en crear valor empresarial, no en la engorrosa tarea de adquirir hardware y construir infraestructura física. La agilidad y flexibilidad de la nube permiten a las empresas acelerar rápidamente los recursos, experimentar con nuevos enfoques y escalar iniciativas exitosas sin verse estancadas por preocupaciones de infraestructura. Seguridad y estabilidad sólidas: los proveedores de la nube han invertido mucho en seguridad y estabilidad operativa, empleando equipos de expertos para garantizar la integridad y confiabilidad de sus plataformas. Ofrecen funciones como cifrado de datos, controles de acceso y monitoreo en tiempo real que a la mayoría de las organizaciones les resultaría difícil replicar localmente. Para las empresas que se toman en serio la IA, la seguridad y la estabilidad de nivel empresarial de la nube son una necesidad. La realidad financiera de la infraestructura de IA Más allá de estas ventajas, existe una cruda realidad financiera que inclina aún más la balanza a favor de la nube. La infraestructura de IA es significativamente más cara que los recursos tradicionales de computación en la nube. El hardware especializado necesario para las cargas de trabajo de IA, como las GPU de alto rendimiento de Nvidia y las TPU de Google, tiene un precio elevado. Sólo los proveedores de nube más grandes tienen los recursos financieros, la economía unitaria y la tolerancia al riesgo para comprar e implementar esta infraestructura a escala. Pueden distribuir los costos entre una amplia base de clientes, haciéndolo económicamente viable. Para la mayoría de las empresas, el gasto de capital inicial y los costos continuos de construir y mantener una infraestructura de IA local comparable serían prohibitivamente costosos. Además, el ritmo de innovación en hardware de IA es implacable. Nvidia, por ejemplo, lanza nuevas generaciones de GPU cada pocos años, cada una de las cuales ofrece importantes mejoras de rendimiento con respecto a la generación anterior. Las empresas que invierten en infraestructura de IA local corren el riesgo de quedar obsoletas inmediatamente a medida que llega al mercado hardware más nuevo y potente. Se enfrentarían a un ciclo brutal de modernización y descarte de costosas infraestructuras, hundiendo los costos en activos que se deprecian. Pocas empresas tienen ganas de adoptar un enfoque tan arriesgado y costoso. Privacidad de los datos y el auge de la IA que preserva la privacidad A medida que las empresas se enfrentan a la decisión entre la infraestructura de IA en la nube y la local, otro factor crítico a considerar es la privacidad de los datos. Dado que los sistemas de inteligencia artificial dependen de grandes cantidades de datos confidenciales de los usuarios, garantizar la privacidad y seguridad de esta información es primordial. Los servicios tradicionales de inteligencia artificial en la nube han enfrentado críticas por sus prácticas opacas de privacidad, la falta de visibilidad en tiempo real del uso de datos y las posibles vulnerabilidades a amenazas internas y abuso de acceso privilegiado. Estas preocupaciones han llevado a una creciente demanda de soluciones de IA que preserven la privacidad y que puedan ofrecer los beneficios de la IA basada en la nube sin comprometer la privacidad del usuario. La Private Compute Cloud (PCC) recientemente anunciada por Apple es un excelente ejemplo de esta nueva generación de servicios de inteligencia artificial centrados en la privacidad. PCC extiende a la nube las protecciones de privacidad de los dispositivos de Apple, líderes en la industria, lo que permite a las empresas aprovechar la poderosa IA en la nube mientras mantienen la privacidad y seguridad que los usuarios esperan de los dispositivos Apple. PCC logra esto mediante una combinación de hardware personalizado, un sistema operativo reforzado y medidas de transparencia sin precedentes. Al utilizar datos personales exclusivamente para cumplir con las solicitudes de los usuarios y nunca retenerlos, aplicar garantías de privacidad a nivel técnico, eliminar el acceso privilegiado al tiempo de ejecución y brindar transparencia verificable en sus operaciones, PCC establece un nuevo estándar para proteger los datos de los usuarios en los servicios de inteligencia artificial en la nube. A medida que las soluciones de inteligencia artificial que preservan la privacidad, como PCC, ganen terreno, las empresas tendrán que sopesar los beneficios de estos servicios con los posibles ahorros de costos y el control que ofrece el autohospedaje. Si bien el autohospedaje puede brindar mayor flexibilidad y costos potencialmente más bajos en algunos escenarios, las sólidas garantías de privacidad y la facilidad de uso que ofrecen servicios como PCC pueden resultar más valiosas a largo plazo, particularmente para las empresas que operan en industrias altamente reguladas o aquellas con estrictas regulaciones. requisitos de privacidad de datos. El caso límite La única mella potencial en la armadura de la nube es la informática de borde. Para aplicaciones sensibles a la latencia, como vehículos autónomos, IoT industrial y procesamiento de vídeo en tiempo real, las implementaciones perimetrales pueden ser fundamentales. Sin embargo, incluso aquí, las nubes públicas están logrando avances significativos. A medida que la informática de punta evolucione, es probable que veamos surgir más modelos de computación en la nube de utilidad. Los proveedores de nube pública como AWS con Outposts, Azure con Stack Edge y Google Cloud con Anthos ya están implementando su infraestructura en el borde, acercando el poder y la flexibilidad de la nube al lugar donde se generan y consumen los datos. Esta implementación avanzada de recursos en la nube permitirá a las empresas aprovechar los beneficios de la informática de punta sin la complejidad de administrar la infraestructura local. El veredicto Si bien el debate sobre la infraestructura de IA local versus la de la nube sin duda continuará, las ventajas de la nube siguen siendo convincentes. La combinación de rentabilidad, acceso a habilidades especializadas, agilidad en un campo en rápida evolución, seguridad sólida y el aumento de servicios de IA que preservan la privacidad como el PCC de Apple hacen de la nube la opción clara para la mayoría de las empresas que buscan aprovechar el poder de la IA. . Al igual que en “Las grandes guerras de la nube”, la nube ya está preparada para salir victoriosa en la batalla por el dominio de la infraestructura de IA. Es solo cuestión de tiempo. Si bien los modelos de IA autohospedados pueden parecer rentables en la superficie, como sugiere el análisis de Premkumar, los verdaderos costos y riesgos de la infraestructura de IA local son mucho mayores de lo que parece. Las incomparables ventajas de la nube, combinadas con el surgimiento de servicios de IA que preservan la privacidad, la convierten en el claro ganador en el debate sobre la infraestructura de IA. Mientras las empresas navegan por las apasionantes pero inciertas aguas de la revolución de la IA, apostar por la nube sigue siendo el camino más seguro hacia el éxito. VB Daily ¡Manténgase informado! Reciba las últimas noticias en su bandeja de entrada diariamente. Al suscribirse, acepta los Términos de servicio de VentureBeat. Gracias por suscribirte. Consulte más boletines de VB aquí. Ocurrió un error.