Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder en la industria. Más información A estas alturas, los grandes modelos de lenguaje (LLM) como ChatGPT y Claude se han convertido en una palabra cotidiana en todo el mundo. Mucha gente ha empezado a preocuparse de que la IA venga a ocupar sus puestos de trabajo, por lo que es irónico ver que casi todos los sistemas basados ​​en LLM fracasan en una tarea sencilla: contar el número de «r» en la palabra «fresa». No están fallando exclusivamente en el alfabeto “r”; otros ejemplos incluyen contar «m» en «mamífero» y «p» en «hipopótamo». En este artículo, desglosaré el motivo de estas fallas y brindaré una solución alternativa simple. Los LLM son potentes sistemas de inteligencia artificial entrenados en grandes cantidades de texto para comprender y generar un lenguaje similar al humano. Se destacan en tareas como responder preguntas, traducir idiomas, resumir contenido e incluso generar escritura creativa al predecir y construir respuestas coherentes basadas en los comentarios que reciben. Los LLM están diseñados para reconocer patrones en el texto, lo que les permite manejar una amplia gama de tareas relacionadas con el lenguaje con una precisión impresionante. A pesar de su destreza, no contar el número de «r» en la palabra «fresa» es un recordatorio de que los LLM no son capaces de «pensar» como humanos. No procesan la información que les damos como lo haría un humano. Conversación con ChatGPT y Claude sobre el número de “r” en fresa. Casi todos los LLM de alto rendimiento actuales se basan en transformadores. Esta arquitectura de aprendizaje profundo no ingiere texto directamente como entrada. Utilizan un proceso llamado tokenización, que transforma el texto en representaciones numéricas o tokens. Algunas fichas pueden ser palabras completas (como «mono»), mientras que otras pueden ser partes de una palabra (como «mon» y «key»). Cada token es como un código que el modelo comprende. Al dividir todo en tokens, el modelo puede predecir mejor el siguiente token en una oración. Los LLM no memorizan palabras; Intentan comprender cómo encajan estos tokens de diferentes maneras, lo que los hace buenos para adivinar lo que viene a continuación. En el caso de la palabra «hipopótamo», el modelo podría ver las fichas de las letras «hip», «pop», «o» y «tamus», y no saber que la palabra «hipopótamo» está formada por las letras – » h”, “i”, “p”, “p”, “o”, “p”, “o”, “t”, “a”, “m”, “u”, “s”. Es posible que una arquitectura modelo que pueda observar directamente letras individuales sin tokenizarlas no tenga este problema, pero para las arquitecturas de transformadores actuales, no es computacionalmente factible. Además, observemos cómo los LLM generan texto de salida: predicen cuál será la siguiente palabra en función de los tokens de entrada y salida anteriores. Si bien esto funciona para generar texto similar al humano y contextualmente consciente, no es adecuado para tareas simples como contar letras. Cuando se les pide que respondan el número de «r» en la palabra «fresa», los LLM simplemente predicen la respuesta basándose en la estructura de la oración de entrada. Aquí hay una solución alternativa. Si bien es posible que los LLM no puedan “pensar” o razonar lógicamente, son expertos en comprender texto estructurado. Un espléndido ejemplo de texto estructurado es el código informático, de muchos lenguajes de programación. Si le pedimos a ChatGPT que use Python para contar el número de «r» en «fresa», lo más probable es que obtenga la respuesta correcta. Cuando es necesario que los LLM realicen conteos o cualquier otra tarea que pueda requerir razonamiento lógico o cálculo aritmético, el software más amplio se puede diseñar de manera que las indicaciones incluyan pedirle al LLM que use un lenguaje de programación para procesar la consulta de entrada. Conclusión Un simple experimento de conteo de letras expone una limitación fundamental de LLM como ChatGPT y Claude. A pesar de sus impresionantes capacidades para generar texto similar a un humano, escribir código y responder cualquier pregunta que se les plantee, estos modelos de IA aún no pueden «pensar» como un humano. El experimento muestra los modelos tal como son: algoritmos predictivos de coincidencia de patrones y no “inteligencia” capaz de comprender o razonar. Sin embargo, tener un conocimiento previo de qué tipo de indicaciones funcionan bien puede aliviar el problema hasta cierto punto. A medida que aumenta la integración de la IA en nuestras vidas, reconocer sus limitaciones es crucial para un uso responsable y expectativas realistas de estos modelos. Chinmay Jog es ingeniero senior de aprendizaje automático en Pangiam. DataDecisionMakers ¡Bienvenido a la comunidad VentureBeat! DataDecisionMakers es el lugar donde los expertos, incluidos los técnicos que trabajan con datos, pueden compartir conocimientos e innovación relacionados con los datos. Si desea leer sobre ideas de vanguardia e información actualizada, mejores prácticas y el futuro de los datos y la tecnología de datos, únase a nosotros en DataDecisionMakers. ¡Incluso podrías considerar contribuir con un artículo propio! Leer más de DataDecisionMakers