Google ha lanzado una API experimental que permite que modelos de lenguaje grandes se ejecuten completamente en el dispositivo en plataformas web, iOS y Android. Presentada el 7 de marzo, la API de inferencia LLM de MediaPipe fue diseñada para agilizar la integración de LLM en el dispositivo para desarrolladores web y admite plataformas web, Android e iOS. La API proporciona soporte inicial para cuatro LLM: Gemma, Phi 2, Falcon y Stable LM. Google advierte que la API es experimental y aún está en desarrollo activo, pero brinda a los investigadores y desarrolladores la capacidad de crear prototipos y probar modelos disponibles abiertamente en el dispositivo. . Para Android, Google señaló que las aplicaciones de producción con LLM pueden usar Gemini API o Gemini Nano en el dispositivo a través de Android AICore, una capacidad a nivel de sistema introducida en Android 14 que proporciona soluciones impulsadas por Gemini para dispositivos de alta gama, incluidas integraciones con aceleradores. filtros de seguridad y adaptadores LoRA. Los desarrolladores pueden probar la API de inferencia MediaPipe LLM a través de una demostración web o creando aplicaciones de demostración de muestra. Una muestra oficial está disponible en GitHub. La API permite a los desarrolladores incorporar LLM al dispositivo en unos pocos pasos, utilizando SDK específicos de la plataforma. A través de optimizaciones significativas, la API puede ofrecer latencia de última generación en el dispositivo, centrándose en la CPU y la GPU para admitir múltiples plataformas, dijo Google. La compañía planea expandir la API a más plataformas y modelos durante el próximo año. Copyright © 2024 IDG Communications, Inc.

Source link