Nano, el modelo de IA más pequeño de Google en su serie generativa Gemini, no estará disponible en los teléfonos Pixel 8 debido a «algunas limitaciones de hardware». Anunciado en diciembre, Nano se ejecuta en teléfonos inteligentes Android de alta gama, como el último Pixel 8 Pro de Google y la línea Galaxy S24 de Samsung. El modelo proporciona varias funciones de IA típicas del día en esos dispositivos, como resumir grabaciones de audio como texto y Magic Compose, que puede generar automáticamente respuestas rápidas a mensajes de texto. Sin embargo, estas capacidades no llegarán al Pixel 8, que al igual que el Pro salió a la venta en octubre. En un panel de discusión durante el último episodio de The Android Show, Terence Zhang, un ingeniero que trabaja en IA generativa en Google Android, dijo que esto se debía a «algunas limitaciones de hardware». (Pase a aproximadamente 42:57 en el video a continuación). Video de Youtube No está claro cuáles son exactamente esas limitaciones, considerando que los dispositivos Pixel 8 y Pixel 8 Pro están equipados con el mismo procesador Google Tensor G3 y núcleos de CPU y GPU. El Pixel 8 Pro, fundamentalmente, tiene más memoria. El 8 tiene 8 GB de RAM y el 8 Pro tiene 12 GB y, por lo que parece, esos 8 GB limitarán el rendimiento del modelo. Entonces, no hay Nano para el Pixel 8. Google se negó a comentar al respecto. Los modelos de lenguajes grandes razonablemente competentes suelen consumir mucha memoria y computación, lo que hace que sea difícil ejecutarlos en teléfonos inteligentes, incluso en aquellos con 8 GB de DRAM. Google desarrolló AICore, un servicio del sistema Android que las aplicaciones pueden utilizar para hacer que Google Nano realice tareas de inferencia de ML, como la generación de texto, en el dispositivo utilizando cualquier aceleración de hardware disponible. Zhang dijo que AICore es básicamente una superficie API para Gemini Nano y que este modelo está limitado por la potencia informática del dispositivo. En teléfonos donde no hay Nano, como el Pixel 8, no hay AICore para usar. AICore es útil porque permite que las aplicaciones accedan a Gemini Nano en el dispositivo local sin necesidad de una conexión a Internet a algún servicio remoto en la nube. Todo el texto generado por el modelo es privado ya que los datos no salen del teléfono inteligente, lo que también reduce la latencia, haciendo que su ejecución sea más rápida. «Por último, y lo más importante, es gratis», afirmó Zhang. Dado que todas las cargas de trabajo se ejecutan utilizando el hardware de los dispositivos, no cuesta ni un centavo interactuar con el modelo, a diferencia de acceder a un LLM desde la nube. «AICore actualmente solo está disponible en dispositivos Google Pixel 8 Pro y Samsung S24 Series», deja claro Google en la documentación para desarrolladores. Se dice que el gigante web planea implementar más funciones de inteligencia artificial para su Asistente controlado por voz, impulsado por sus modelos más grandes Gemini Pro y Ultra, el próximo año en sus dispositivos Pixel. ®

Source link