¿Quieres ideas más inteligentes en tu bandeja de entrada? Regístrese en nuestros boletines semanales para obtener solo lo que importa a los líderes de IA, datos y seguridad empresariales. Suscríbete ahora el equipo de investigación de AI DeepMind AI de Google ha presentado un nuevo modelo de IA de código abierto hoy, Gemma 3 270m. Como su nombre sugeriría, este es un modelo de 270 millones de parámetros, mucho más pequeño que los 70 mil millones o más parámetros de muchos LLM de frontera (los parámetros son el número de configuraciones internas que rigen el comportamiento del modelo). Si bien más parámetros generalmente se traducen en un modelo más grande y más potente, el enfoque de Google con esto es casi lo contrario: alta eficiencia, lo que brinda a los desarrolladores un modelo lo suficientemente pequeño como para funcionar directamente en teléfonos inteligentes y localmente, sin una conexión a Internet, como se muestra en las pruebas internas en un Pixel 9 Pro SoC. Sin embargo, el modelo todavía es capaz de manejar tareas complejas específicas de dominio y se puede ajustar rápidamente en solo minutos para adaptarse a las necesidades de una empresa o desarrollador independiente. AI Scaling alcanza sus límites de potencia de límites, el aumento de los costos de los tokens y los retrasos de inferencia están remodelando Enterprise AI. Join our exclusive salon to discover how top teams are: Turning energy into a strategic advantage Architecting efficient inference for real throughput gains Unlocking competitive ROI with sustainable AI systems Secure your spot to stay ahead: https://bit.ly/4mwGngO On the social network X, Google DeepMind Staff AI Developer Relations Engineer Omar Sanseviero added that it Gemma 3 270M can also run directly in a user’s web browser, En una Raspberry Pi, y «en tu tostadora», subrayando su capacidad para operar en hardware muy liviano. Gemma 3 270m combina 170 millones de parámetros de incrustación, gracias a un gran vocabulario de 256k capaz de manejar tokens raros y específicos, con 100 millones de parámetros de bloqueo de transformadores. Según Google, la arquitectura admite un fuerte rendimiento en las tareas de seguimiento de instrucciones desde el primer momento mientras se mantiene lo suficientemente pequeño para ajustar y implementar rápidamente en dispositivos con recursos limitados, incluido el hardware móvil. GEMMA 3 270M hereda la arquitectura y el pretrete de los modelos más grandes de Gemma 3, asegurando la compatibilidad en el ecosistema de Gemma. Con documentación, recetas de ajuste fino y guías de implementación disponibles para herramientas como abrazar Face, Uncera y Jax, los desarrolladores pueden pasar de la experimentación a la implementación rápidamente. Los puntajes altos en los puntos de referencia para su tamaño y una alta heftiencia en el punto de referencia Ifeval, que mide la capacidad de un modelo para seguir las instrucciones, el Gemma 3 270m sintonizado con instrucciones puntuó 51.2%. La puntuación lo coloca muy por encima de los modelos pequeños de manera similar como SMOLLM2 135M Instruce y QWen 2.5 0.5B instruct, y más cerca del rango de rendimiento de algunos modelos de mil millones de parámetros, según la comparación publicada de Google. Sin embargo, como los investigadores y líderes de la startup de IA rival Liquid AI señalaron en respuestas en X, Google dejó el propio modelo LFM2-350M de Google lanzado en julio de este año, que obtuvo un enorme 65.12% con solo unos pocos parámetros más (modelo de lenguaje de tamaño similar). Una de las fortalezas definitorias del modelo es su eficiencia energética. En las pruebas internas utilizando el modelo cantizado con INT4 en un Pixel 9 Pro SOC, 25 conversaciones consumieron solo el 0.75% de la batería del dispositivo. Esto hace que Gemma 3 270m sea una elección práctica para la IA en el dispositivo, particularmente en los casos en que la privacidad y la funcionalidad fuera de línea son importantes. El lanzamiento incluye un modelo previo y ajustado por instrucciones, lo que brinda a los desarrolladores una utilidad inmediata para tareas generales de seguimiento de instrucciones. Los puntos de control capacitados por cuantización (QAT) también están disponibles, lo que permite la precisión INT4 con una pérdida de rendimiento mínima y haciendo que el modelo esté listo para la producción para entornos con recursos limitados. Una pequeña versión de Gemma 3 270m puede realizar muchas funciones de LLMS más grandes Google Frames Gemma 3 270m como parte de una filosofía más amplia de elegir la herramienta adecuada para el trabajo en lugar de depender del tamaño del modelo sin procesar. Para funciones como análisis de sentimientos, extracción de entidad, enrutamiento de consultas, generación de texto estructurado, verificaciones de cumplimiento y escritura creativa, la compañía dice que un modelo pequeño ajustado puede ofrecer resultados más rápidos y rentables que uno grande de propósito general. Los beneficios de la especialización son evidentes en trabajos pasados, como la colaboración de ML adaptativa con SK Telecom. Al ajustar un modelo GEMMA 3 4B para la moderación de contenido multilingüe, el equipo superó a sistemas de propiedad mucho más grandes. Gemma 3 270m está diseñado para permitir un éxito similar a una escala aún más pequeña, lo que respalda las flotas de modelos especializados adaptados a tareas individuales. La aplicación de generador de cuentos de la hora de dormir de la demostración muestra el potencial de Gemma 3 270m más allá del uso empresarial, el modelo también se ajusta a los escenarios creativos. En un video de demostración publicado en YouTube, Google muestra una aplicación de generador de cuentos para acostarse construida con Gemma 3 270m y Transformers.js que se extiende completamente fuera de línea en un navegador web, mostrando la versatilidad del modelo en aplicaciones ligeras y accesibles. El video destaca la capacidad del modelo para sintetizar múltiples entradas al permitir selecciones para un personaje principal (por ejemplo, «un gato mágico»), un entorno («en un bosque encantado»), un giro de la trama («descubre una puerta secreta»), un tema («aventurero») y una longitud deseada («corta»). Una vez que se establecen los parámetros, el modelo Gemma 3 270m genera una historia coherente e imaginativa. La aplicación procede a tejer una historia breve y aventurera basada en las elecciones del usuario, lo que demuestra la capacidad del modelo para la generación de texto creativo y consciente del contexto. Este video sirve como un poderoso ejemplo de cómo Gemma 3 270m livianos pero capaces puede alimentar aplicaciones rápidas, atractivas e interactivas sin depender de la nube, abriendo nuevas posibilidades para las experiencias de IA en el dispositivo. Forsó abierto bajo una licencia personalizada Gemma GEMMA 3 270m se libera bajo los Términos de uso de Gemma, que permiten el uso, reproducción, modificación y distribución del modelo y derivados, siempre que se cumplan ciertas condiciones. Estos incluyen llevar a cabo las restricciones de uso posterior descritas en la política de uso prohibida de Google, suministrar los términos de uso a los destinatarios aguas abajo e indicar claramente cualquier modificación realizada. La distribución puede ser directa o mediante servicios alojados como API o aplicaciones web. Para los equipos empresariales y los desarrolladores comerciales, esto significa que el modelo puede integrarse en productos, implementarse como parte de los servicios en la nube o ajustar a derivados especializados, siempre que se respeten los términos de licencia. Google no reclama los resultados generados por el modelo, lo que brinda a las empresas todos los derechos sobre el contenido que crean. Sin embargo, los desarrolladores son responsables de garantizar el cumplimiento de las leyes aplicables y de evitar usos prohibidos, como generar contenido dañino o violar las reglas de privacidad. La licencia no es de código abierto en el sentido tradicional, pero sí permite un uso comercial amplio sin una licencia pagada por separado. Para las empresas que construyen aplicaciones comerciales de IA, las principales consideraciones operativas están garantizando que los usuarios finales estén sujetos a restricciones equivalentes, documentando modificaciones del modelo e implementación de medidas de seguridad alineadas con la política de usos prohibidos. Con el Gemmaverse superando 200 millones de descargas y la alineación de Gemma que abarca las variantes de la nube, el escritorio y las optimizadas móviles, los desarrolladores de Google AI están posicionando Gemma 3 270m como base para construir soluciones AI rápidas, rentables y centradas en la privacidad, y ya parece un gran comienzo. Insights diarias sobre casos de uso de negocios con VB diariamente Si desea impresionar a su jefe, VB Daily lo tiene cubierto. Le damos la cuenta interior de lo que las empresas están haciendo con la IA generativa, desde cambios regulatorios hasta implementaciones prácticas, por lo que puede compartir ideas para el ROI máximo. Lea nuestra Política de privacidad Gracias por suscribirse. Mira más boletines de VB aquí. Ocurrió un error.
Deja una respuesta