Arm está integrando su tecnología de aceleración de IA y aprendizaje automático en hardware basado en Arm para llevar cargas de trabajo de IA y aprendizaje automático al hardware basado en Arm. Este acuerdo, anunciado el 16 de septiembre, tiene como objetivo extender los beneficios del rendimiento de la IA desde el borde hasta la nube. Con el soporte para PyTorch y ExecuTorch, la próxima generación de aplicaciones puede ejecutar modelos de lenguaje grandes (LLM) en CPU Arm. Arm se ha asociado con PyTorch y TensorFlow para integrar las bibliotecas Arm Kleidi directamente en estos marcos. KleidiAI, una biblioteca para desarrolladores de marcos de IA/ML, también está programada para integrarse en ExecuTorch en octubre de 2024. Desde su lanzamiento hace cuatro meses, Kleidi ha acelerado el desarrollo y ha desbloqueado importantes mejoras en el rendimiento de la IA en las CPU Arm, dijo Alex Spinelli, vicepresidente de tecnología para desarrolladores de Arm. En la nube, Kleidi se basa en el trabajo existente para mejorar PyTorch con Arm Compute Libraries (ACL) y ofrece un modelo para optimizar la IA en Arm. Con Kleidi, las aplicaciones pueden beneficiarse de las mejoras de rendimiento cuando se lanzan nuevas versiones del marco, pero sin tomar medidas adicionales para desarrollar en Arm hoy.
Deja una respuesta