El Instituto de Investigación de IA de China Telcom afirma que entrenó un modelo de 100 mil millones de parámetros utilizando sólo potencia informática producida en el país, una hazaña que sugiere que las entidades del Reino Medio no están colosalmente perturbadas por las sanciones que sofocan las exportaciones de tecnología occidental al país. El modelo se llama TeleChat2-115B y, según una actualización de GitHub publicada el 20 de septiembre, fue «entrenado completamente con potencia informática nacional y de código abierto». «El modelo de código abierto TeleChat2-115B se entrena utilizando 10 billones de tokens de corpus chino e inglés de alta calidad», afirma la página de GitHub del proyecto. La página también contiene una pista sobre cómo China Telecom pudo haber entrenado el modelo, en una mención de la compatibilidad con el «servidor de entrenamiento Ascend Atlas 800T A2», un producto de Huawei que admite los procesadores Kunpeng 920 7265 o Kunpeng 920 5250, respectivamente. 64 núcleos a 3,0GHz y 48 núcleos a 2,6GHz. Huawei construye esos procesadores utilizando la arquitectura Arm 8.2 y los factura como producidos con un proceso de 7 nm. Con 100 mil millones de parámetros, TeleChat2 está detrás de modelos recientes de Llama que aparentemente superan los 400 mil millones de parámetros, o el o1 de Open AI, que se estima que fue entrenado con 200 mil millones de parámetros. Si bien el recuento de parámetros por sí solo no determina la potencia o utilidad de un modelo, el bajo recuento de parámetros sugiere que entrenar TeleChat2 probablemente habría requerido menos potencia informática que la necesaria para otros proyectos. Quizás por eso no podemos encontrar una mención de una GPU, aunque el servidor de entrenamiento de Ascend tiene una muy modesta para controlar una pantalla de 1920 × 1080 a 60 Hz con 16 millones de colores. Por lo tanto, parece que la infraestructura utilizada para entrenar este modelo no estaba a la par con el tipo de plataformas disponibles fuera de China, lo que sugiere que las sanciones a las exportaciones de tecnología no impiden que el Reino Medio persiga sus ambiciones de IA. O que puede lograr resultados de otras maneras, como la enorme escala de China Telecom. El operador tiene ingresos de más de 70 mil millones de dólares, provenientes de su provisión de más de 500 millones de suscripciones por cable e inalámbricas. También es uno de los mayores usuarios y promotores de OpenStack. Incluso sin acceso al último y mejor hardware de IA, China Telecom puede reunir mucho poder. ®
Deja una respuesta