Los modelos de lenguaje grande (LLM) detrás de los chatbots de IA «piensan» en inglés, incluso cuando se les hacen preguntas en otros idiomas, según muestra una nueva investigación. Para investigar este fenómeno, investigadores del Instituto Federal Suizo de Tecnología en Lausana observaron tres versiones de estos modelos de chatbot de IA: abriéndolos para ver las diversas «capas» que componen el procesamiento interno de estos LLM. «Abrimos estos modelos y observamos cada una de las capas», dijo el investigador Veniamin Veselovsky a New Scientist. “Cada una de estas capas hace algo con la entrada, el mensaje original que le das. Queríamos ver si las capas internas realmente se están procesando en inglés”. El «subespacio inglés» Los modelos, que fueron elegidos debido a su naturaleza de código abierto, recibieron tres tipos de indicaciones en cuatro idiomas: francés, alemán, ruso y chino. El primer tipo de mensaje le pidió al LLM que repitiera la palabra que le habían dado. El segundo solicitó que el LLM tradujera de una palabra que no estaba en inglés a otra. Y el tercer y último mensaje pedía al LLM que llenara un espacio de una palabra en una oración. Luego, los investigadores lograron rastrear todos los diferentes cambios y procesos por los que tuvo que pasar el LLM para llegar a las respuestas a estas indicaciones. Lo que descubrieron fue que todos estos LLM y todos estos procesos en capas tienen una cosa en común: todos pasan por lo que denominan el «subespacio inglés». Básicamente, esto significa que en lugar de traducir directamente del francés al alemán, se desvía y traduce del francés al inglés y luego al alemán, o viceversa. Según Veselvosky, esto es significativo porque sugiere que estos LLM utilizan el inglés para comprender ciertos conceptos. En declaraciones a New Scientist, Aliya Bhatia del Centro para la Democracia y la Tecnología en Washington DC explicó por qué estos resultados pueden ser preocupantes. «Hay más datos de alta calidad disponibles en inglés y en algunos idiomas de las Naciones Unidas para entrenar modelos que en la mayoría de los demás idiomas y, como resultado, los desarrolladores de IA entrenan sus modelos principalmente con datos en inglés», explicó. «Pero utilizar el inglés como intermediario a través del cual enseñar a un modelo a analizar el lenguaje corre el riesgo de superponer una visión limitada del mundo a otras regiones lingüística y culturalmente distintas». Imagen de portada: Ideograma

Source link