¿Qué pasaría si cualquier PC de escritorio pudiera convertirse en una bestia de inferencia de IA con una sola actualización? ¿Y si esa bestia transformada todavía bebiera energía como si estuviera disfrutando de un martini? Esa es la idea propuesta por Neuchips, una startup taiwanesa fundada en 2019 y conocida por ofrecer una eficiencia de IA de primer nivel. Llegó a CES Unveiled 2024, el programa de medios previo al juego antes del evento principal, con una tarjeta adicional PCIe que puede actualizar las capacidades de inteligencia artificial de una computadora de escritorio típica y al mismo tiempo agregar solo 55 vatios al presupuesto de energía de la PC. No es sólo un concepto. La tarjeta se conectó a una computadora de escritorio en la sala de exhibición y ofreció una conversación fuera de línea en tiempo real con un chatbot impulsado por el popular modelo de lenguaje grande Llama 2 7B de Meta (Neuchips dice que la tarjeta también ejecutará Llama 2 13B). La tarjeta, el acelerador Evo PCIe, se basa en el chip acelerador Raptor Gen AI de la compañía. El chip Raptor ofrece “hasta 200 tera operaciones (TOPS) por segundo” y la compañía dice que está optimizado para modelos basados ​​en transformadores. La tarjeta que Neuchips demostró tenía el chip Raptor, pero un solo chip no es la forma final de la tarjeta. Ken Lau, director ejecutivo de Neuchips, un veterano de Intel con 26 años de experiencia, dice que Raptor se puede utilizar para diseñar tarjetas con distintos números de chips integrados. «El chip es realmente escalable», afirma Lau. “Así que empezamos con un chip. Y luego tenemos cuatro fichas. Y luego ocho fichas”. Cada chip proporciona hasta 200 billones de operaciones por segundo (TOPS), según el comunicado de prensa de Neuchip. La tarjeta también lleva 32 GB de memoria LPDDR5 y alcanza 1,6 terabytes de ancho de banda de memoria. El ancho de banda de la memoria es importante, porque a menudo es un factor cuando se maneja la inferencia de IA en una sola PC. Neuchips también quiere brindar a los propietarios las herramientas necesarias para usar la tarjeta de manera efectiva, aunque faltan muchos meses para su lanzamiento, los detalles aquí siguen siendo un poco escasos. . Un representante de Neuchips dijo que la compañía tiene un software compilador y proporcionará un controlador. La demostración que vi tenía una interfaz personalizada para interactuar con la tarjeta Neuchips modelo Llama2-7B que se estaba ejecutando, pero parecía básica. Un enfoque en la eficiencia Ya existe hardware que cualquiera puede conectar a la ranura PCie de una computadora de escritorio para mejorar en gran medida el rendimiento de la IA. Se llama GPU y Nvidia tiene un dominio absoluto en el mercado. Sería difícil competir cara a cara con Nvidia en rendimiento. De hecho, Nvidia anunció nuevas tarjetas centradas en la IA en CES 2024; el RTX 4080 Super, que se venderá por 999 dólares a partir del 31 de enero, ofrece un rendimiento de IA de hasta 836 TOP. Sin embargo, Neuchips ve una oportunidad. «Estamos centrados en la eficiencia energética», afirma Lau. “Y sobre el manejo de los diferentes modelos que existen”. Las tarjetas gráficas modernas son potentes, pero también consumen mucha energía. El RTX 4080 Super puede consumir hasta 320 vatios de potencia y normalmente requerirá una computadora con una fuente de alimentación que pueda entregar al menos 750 vatios. El acelerador Evo PCIe de Neuchips, por el contrario, consume sólo 55 vatios de energía. De hecho, consume tan poca energía que la tarjeta que Neuchips demostró en CES no tenía una conexión de alimentación PCIe externa. Estos conectores son imprescindibles para la mayoría de las tarjetas GPU. También me dijeron que la tarjeta final, que debería enviarse en la segunda mitad de 2024, tendrá aproximadamente la mitad del tamaño de la tarjeta mostrada en el CES. Ese es un detalle importante, ya que la tarjeta que vi era tan grande como la mayoría de las tarjetas GPU Nvidia actuales y demasiado grande para caber en la mayoría de las computadoras de escritorio de factor de forma pequeño. Una tarjeta más pequeña haría que el acelerador Evo PCIe fuera utilizable en una amplia gama de hardware de PC moderno. El acelerador de Neuchips, aunque quizás la tarjeta aceleradora de IA de más alto perfil en CES 2024, no estuvo solo en la feria. Varias empresas emergentes llegaron con sus propios aceleradores de inteligencia artificial con características únicas. Panmnesia ganó un Premio a la Innovación CES por un acelerador de IA que incluye una interfaz Compute eXpress Link para acceder a enormes cantidades de memoria. Otras empresas con aceleradores de IA incluyen DeepX y MemryX. Intel y AMD también participan en esto; cada uno ofrece un acelerador de IA en su última arquitectura de CPU. No cometer errores. Nvidia sigue siendo el gorila de las 800 libras en este ámbito, y eso no va a cambiar de la noche a la mañana. Aun así, los nuevos aceleradores de IA como Raptor de Neuchips y la tarjeta Evo PCIe parecen estar listos para ofrecer nuevas opciones a los desarrolladores que no se preocupan por los gráficos o que necesitan una mayor eficiencia energética mientras ejecutan la inferencia de IA. El lanzamiento completo del acelerador Evo PCI de Neuchips está previsto para la segunda mitad de 2024. El precio aún no se ha anunciado. Artículos de su sitioArtículos relacionados en la Web

Source link