Arm tiene como objetivo aumentar el rendimiento de la IA en el borde con su última unidad de procesamiento neuronal (NPU) integrada y una plataforma de diseño de referencia en la que encajar, y dijo que espera ver dispositivos basados ​​​​en ella ejecutando modelos de IA generativa el próximo año. La línea Ethos es la cartera de NPU de Arm, y la serie Ethos-U son versiones integradas, o las llamadas microNPU, diseñadas para combinarse con uno de los procesadores Cortex-M del diseñador de chips. Con el Ethos-U85, Arm afirma tener un aumento de rendimiento 4 veces mayor y una eficiencia energética un 20 por ciento mayor que las generaciones anteriores. Una razón para esto es que se puede configurar con 128 hasta 2048 unidades de acumulación múltiple, siendo esta última cuatro veces el número del Ethos-U65 existente, ofreciendo un rendimiento de hasta 4 TOP (billones de operaciones por segundo) a 1 GHz. . Este paso adelante es necesario porque las demandas de procesamiento de IA y aprendizaje automático (ML) que se imponen a los sistemas integrados están creciendo, según Paul Williamson, vicepresidente senior y gerente general de la línea de negocios IoT de Arm. «La primera ola de computación de borde se optimizó para memoria limitada y bajas necesidades de energía de dispositivos limitados», dijo Williamson, pero desde entonces se han vuelto más conectados y han tenido que lidiar con volúmenes cada vez mayores de datos. «Luego se implementó la inferencia de aprendizaje automático para analizar los datos que se generaron y encontrar ideas significativas. Y luego la IA evolucionó no solo para predecir el resultado, sino también para generar nuevos datos y más ideas», añadió. Arm afirma que Ethos-U85 ahora permite que pequeños dispositivos integrados admitan redes de transformadores, así como redes neuronales convolucionales (CNN) para inferencias de IA. Esto impulsará el desarrollo de nuevas aplicaciones, particularmente en casos de uso de visión e IA generativa para tareas como el análisis de datos para la clasificación de imágenes y la detección de objetos. «Esperamos que Ethos-U85 se implemente en casos de uso emergentes de IA de vanguardia y entornos industriales o minoristas de hogares inteligentes, donde existe demanda de esa computación de alto rendimiento con el soporte de los últimos marcos de IA», dijo Williamson. Esos marcos incluyen TensorFlow Lite y PyTorch, y la última NPU es compatible con la cadena de herramientas existente, por lo que los desarrolladores que ya han codificado para Ethos pueden continuar usando las mismas herramientas y código con Ethos-U85. Para complementarlo, Arm ha creado la plataforma de diseño de referencia IoT Corstone-320, que los socios de hardware pueden utilizar para crear rápidamente un diseño de chip. Esto combina Ethos-U85 con Cortex-M85, considerado el diseño de mayor rendimiento de la compañía para productos basados ​​en microcontroladores, y el procesador de señal de imagen Mali-C55. Pero Ethos-U85 también funcionará con las CPU Armv9 Cortex-A de gama alta, para llevar la inferencia de borde con eficiencia energética a una gama más amplia de dispositivos de mayor rendimiento, dijo Arm. Corstone-320 se ha desarrollado teniendo en cuenta aplicaciones como sistemas de cámaras alimentadas por baterías para hogares inteligentes, cámaras conectadas utilizadas en líneas de producción industrial y sistemas minoristas, según Williamson. La plataforma incluye herramientas de software y soporte, incluido Arm Virtual Hardware. Esta última capacidad permite que el desarrollo de software comience antes de que el silicio final esté disponible, afirma Arm, lo que acelera el tiempo de comercialización de dispositivos complejos de IA de vanguardia. Arm también ve una oportunidad para que versiones pequeñas de modelos de IA generativa se ejecuten en el borde de sistemas integrados y afirma que esta plataforma lo permitirá. Williamson dijo que Arm ya tiene socios que están experimentando con la ejecución de modelos de IA generativa. «Esperamos ver plataformas basadas en Ethos-U85 en silicio en dispositivos el próximo año en 2025, por lo que ese es el punto en el que podremos ver a los primeros beneficiándose de ese rendimiento mejorado», dijo a The Register. Según Williamson, esto podría verse en casos de uso como modelos de lenguaje de bibliotecas más pequeñas para soporte localizado en detección y respuesta de voz, pudiendo usar una gama mucho más amplia de palabras e idiomas en lugar de limitarse a un número limitado de palabras clave. ®