Hoy, H2O AI, la compañía que trabaja para democratizar la IA con una gama de herramientas patentadas y de código abierto, anunció el lanzamiento de Danube, un nuevo modelo de lenguaje grande (LLM) súper pequeño para dispositivos móviles. El modelo de código abierto, que lleva el nombre del segundo río más grande de Europa, viene con 1.800 millones de parámetros y se dice que iguala o supera a modelos de tamaño similar en una variedad de tareas de lenguaje natural. Esto lo coloca en la misma categoría que las sólidas ofertas de Microsoft, Stability AI y Eleuther AI. El momento del anuncio tiene mucho sentido. Las empresas que construyen dispositivos de consumo se apresuran a explorar el potencial de la IA generativa fuera de línea, donde los modelos se ejecutan localmente en el producto, brindando a los usuarios asistencia rápida en todas las funciones y eliminando la necesidad de llevar información a la nube. “Estamos entusiasmados de lanzar H2O-Danube-1.8B como un LLM portátil en dispositivos pequeños como su teléfono inteligente… La proliferación de hardware más pequeño y de menor costo y una capacitación más eficiente ahora permite que los modelos de tamaño modesto sean accesibles a un público más amplio… Creemos que H2O-Danube-1.8B cambiará las reglas del juego para las aplicaciones móviles fuera de línea”, dijo Sri Ambati, director ejecutivo y cofundador de H2O, en un comunicado. Evento VB The AI ​​Impact Tour – Nueva York Estaremos en Nueva York el 29 de febrero en asociación con Microsoft para discutir cómo equilibrar los riesgos y las recompensas de las aplicaciones de IA. Solicite una invitación al evento exclusivo a continuación. Solicite una invitación ¿Qué esperar de Danube-1.8B LLM? Si bien Danube acaba de ser anunciado, H2O afirma que se puede ajustar para manejar una variedad de aplicaciones de lenguaje natural en dispositivos pequeños, incluido el razonamiento de sentido común, la comprensión lectora, el resumen y la traducción. Para entrenar el modelo mini, la compañía recopiló un billón de tokens de diversas fuentes web y utilizó técnicas refinadas de los modelos Llama 2 y Mistral para mejorar sus capacidades de generación. “Ajustamos la arquitectura Llama 2 para un total de alrededor de 1,8 mil millones de parámetros. (Luego) utilizamos el tokenizador Llama 2 original con un tamaño de vocabulario de 32 000 y entrenamos nuestro modelo hasta una longitud de contexto de 16 384. Incorporamos la ventana corrediza atención de Mistral con un tamaño de 4.096”, señaló la empresa al describir la arquitectura del modelo en Hugging Face. Cuando se probó en puntos de referencia, se encontró que el modelo tenía un rendimiento igual o mejor que la mayoría de los modelos en la categoría de parámetros 1-2B. Por ejemplo, en la prueba Hellaswag destinada a evaluar la inferencia del lenguaje natural de sentido común, se desempeñó con una precisión del 69,58%, ubicándose justo detrás del modelo de parámetros Stable LM 2 1,6 mil millones de Stability AI, previamente entrenado en 2 billones de tokens. De manera similar, en el punto de referencia Arc para respuesta avanzada a preguntas, ocupa el tercer lugar detrás de Microsoft Phi 1.5 (modelo de 1.300 millones de parámetros) y Stable LM 2 con una precisión del 39,42%. H2O ha lanzado Danube-1.8B bajo una licencia Apache 2.0 para uso comercial. Cualquier equipo que desee implementar el modelo para un caso de uso móvil puede descargarlo desde Hugging Face y realizar ajustes específicos de la aplicación. Para facilitar este proceso, la empresa también planea lanzar pronto herramientas adicionales. También ha lanzado una versión del modelo adaptada al chat (H2O-Danube-1.8B-Chat), que se puede implementar para aplicaciones conversacionales. A largo plazo, se espera que la disponibilidad de Danube y modelos similares de tamaño pequeño impulse un aumento en las aplicaciones de IA generativa fuera de línea en teléfonos y computadoras portátiles, ayudando con tareas como resúmenes de correo electrónico, mecanografía y edición de imágenes. De hecho, Samsung ya ha avanzado en esta dirección con el lanzamiento de su línea de teléfonos inteligentes S24. La misión de VentureBeat es ser una plaza digital para que los tomadores de decisiones técnicas adquieran conocimientos sobre tecnología empresarial transformadora y realicen transacciones. Descubra nuestros Briefings.

Source link