Todas las convocatorias de resultados de las grandes empresas tecnológicas de esta semana ofrecieron información sobre los esfuerzos de IA de cada empresa. Google se centró en sus esfuerzos de IA generativa en búsqueda y nube; Microsoft profundizó en detalles sobre la integración de la IA en su pila tecnológica; y Amazon habló de chips, Bedrock y, oh sí, Rufus, un nuevo asistente de compras impulsado por inteligencia artificial. Pero creo que Meta los superó a todos en términos de ofrecer la inmersión más profunda en su estrategia de IA. En muchos sentidos, el libro de estrategias de Meta AI es único, gracias a su enfoque constante en la IA de código abierto y a una fuente masiva y en constante crecimiento de datos de entrenamiento de IA provenientes de publicaciones y comentarios públicos en Facebook e Instagram. Por eso fue interesante que en la conferencia telefónica sobre resultados del cuarto trimestre de 2023 de Meta ayer, el director ejecutivo, Mark Zuckerberg, promocionara por primera vez su cómoda posición en una de las áreas más competitivas del desarrollo de la IA: la informática. Meta tiene un manual claro a largo plazo para convertirse en líder en la construcción de los productos y servicios de IA más populares y avanzados, dijo Zuckerberg, así como en la construcción de la “inteligencia general completa” que, según él, requerirá el esfuerzo. El primer aspecto clave de esto, afirmó, es la “infraestructura informática de clase mundial”. Evento VB The AI ​​Impact Tour – Nueva York Estaremos en Nueva York el 29 de febrero en asociación con Microsoft para discutir cómo equilibrar los riesgos y las recompensas de las aplicaciones de IA. Solicite una invitación al evento exclusivo a continuación. Solicite una invitación Zuckerberg continuó repitiendo lo que había revelado recientemente en un reciente Instagram Reel: que para finales de este año Meta tendrá alrededor de 350.000 H100; incluidas otras GPU, el total será de alrededor de 600.000 equivalentes de cómputo H100. ¿La razón por la que Meta tiene todo eso? Sorpresa, sorpresa: Instagram Reels. «Estamos bien posicionados ahora gracias a las lecciones que aprendimos de Reels», explicó. «Inicialmente, diseñamos menos nuestros clústeres de GPU para Reels, y cuando estábamos pasando por eso, decidí que deberíamos desarrollar suficiente capacidad para soportar tanto Reels como otro servicio de IA del tamaño de Reels que esperábamos que surgiera para no estar en esa situación otra vez.” Meta está “jugando para ganar”, añadió Zuckerberg, señalando que entrenar y operar modelos futuros requerirá aún más computación. «Todavía no tenemos una expectativa clara de cuánto será exactamente esto, pero la tendencia ha sido que los grandes modelos de lenguajes de última generación se han entrenado con aproximadamente 10 veces la cantidad de computación cada año», dijo. . «Nuestros grupos de formación son sólo una parte de nuestra infraestructura general y el resto, obviamente, no está creciendo tan rápidamente». La compañía planea continuar invirtiendo agresivamente en esta área, explicó: «Para construir los clústeres más avanzados, también estamos diseñando centros de datos novedosos y diseñando nuestro propio silicio personalizado especializado para nuestras cargas de trabajo». La estrategia de IA de código abierto estuvo al frente y al centro. A continuación, Zuckerberg se centró en la inquebrantable estrategia de código abierto de Meta, a pesar de que Meta ha sido criticada e incluso castigada por legisladores y reguladores sobre este tema durante el año pasado, incluso por la filtración inicial del primera versión de Llama, que estaba destinada a estar disponible sólo para investigadores. «Nuestra estrategia de larga data ha sido construir una infraestructura general de código abierto manteniendo al mismo tiempo la propiedad de nuestras implementaciones de productos específicos», dijo. “En el caso de la IA, la infraestructura general incluye nuestros modelos Llama, incluido Llama 3, que ahora se está entrenando y se ve muy bien hasta ahora, así como herramientas estándar de la industria como PyTorch que hemos desarrollado. Este enfoque hacia el código abierto ha desbloqueado una gran cantidad de innovación en toda la industria y es algo en lo que creemos profundamente”. Zuckerberg también ofreció detalles significativos sobre el enfoque de código abierto de Meta para su negocio, declaraciones que ya han sido ampliamente compartidas en las redes sociales: “Hay varios beneficios estratégicos. En primer lugar, el software de código abierto suele ser más seguro y protegido, así como su funcionamiento más eficiente desde el punto de vista informático debido a toda la retroalimentación, el escrutinio y el desarrollo continuos de la comunidad. Esto es muy importante porque la seguridad es una de las cuestiones más importantes en la IA. Las mejoras en la eficiencia y la reducción de los costos informáticos también benefician a todos, incluidos nosotros. En segundo lugar, el software de código abierto a menudo se convierte en un estándar de la industria, y cuando las empresas estandarizan la construcción con nuestra pila, resulta más fácil integrar nuevas innovaciones en nuestros productos. Esto es sutil, pero la capacidad de aprender y mejorar rápidamente es una gran ventaja y ser un estándar de la industria lo permite. En tercer lugar, el código abierto es muy popular entre los desarrolladores e investigadores. Sabemos que la gente quiere trabajar en sistemas abiertos que serán ampliamente adoptados, por lo que esto nos ayuda a reclutar a las mejores personas en Meta, lo cual es muy importante para liderar cualquier área tecnológica nueva. Y nuevamente, normalmente tenemos datos únicos y creamos integraciones de productos únicas de todos modos, por lo que proporcionar infraestructura como Llama como código abierto no reduce nuestras principales ventajas. Es por eso que nuestra estrategia de larga data ha sido la infraestructura general de código abierto y espero que siga siendo el enfoque correcto para nosotros en el futuro”. Finalmente, me fascinó el hecho de que Zuckerberg resaltara los “bucles de retroalimentación y datos únicos” de Meta en sus productos. Cuando se trata del corpus masivo que entrena modelos por adelantado, Zuckerberg señaló que en Facebook e Instagram hay «cientos de miles de millones de imágenes compartidas públicamente y decenas de miles de millones de videos públicos, que estimamos es mayor que el conjunto de datos de Common Crawl y las personas». También compartimos una gran cantidad de publicaciones de texto públicas en comentarios en nuestros servicios”. El conjunto de datos Common Crawl contiene petabytes de datos web recopilados periódicamente desde 2008: datos sin procesar de páginas web, extractos de metadatos y extractos de texto. Es enorme. Entonces, la idea de que Meta tenga acceso a sus propios grandes corpus que son potencialmente aún más grandes es, literalmente, grande. Pero Zuckerberg fue más allá: “Aún más importante que el corpus de capacitación inicial es la capacidad de establecer los circuitos de retroalimentación correctos con cientos de millones de personas interactuando con los servicios de IA en todos nuestros productos. Y esta retroalimentación es una gran parte de cómo hemos mejorado nuestros sistemas de inteligencia artificial tan rápidamente con Reels y anuncios, especialmente en los últimos años, cuando tuvimos que rediseñarlos en torno a nuevas reglas”. Una historia de Bloomberg destacó ayer el hecho de que el éxito del modelo Llama de Meta ha llevado a que las llamas reales se conviertan en la mascota no oficial de los eventos de IA de código abierto. Pero si nos basamos en el informe de ganancias de Meta, parece que Meta está dispuesto a ir mucho más allá que un lindo y peludo camélido (muchos miles de millones de dólares más, según las sugerencias de gasto de capital de Meta para 2024) para ganar un negocio altamente competitivo. carrera de IA cada vez más rápida. La misión de VentureBeat es ser una plaza digital para que los tomadores de decisiones técnicas adquieran conocimientos sobre tecnología empresarial transformadora y realicen transacciones. Descubra nuestros Briefings.

Source link