Etiqueta: modelos de lenguaje de gran tamaño

Cuando un equipo internacional de investigadores se propuso crear un “científico de IA” que se encargara de todo el proceso científico, no sabían hasta dónde llegarían. ¿El sistema que crearon sería realmente capaz de generar hipótesis interesantes, realizar experimentos, evaluar los resultados y redactar artículos? Lo que acabaron creando, dice el investigador Cong Lu, fue una herramienta de IA que juzgaron equivalente a un estudiante de doctorado en sus inicios. Tenía “algunas ideas sorprendentemente creativas”, dice, pero esas buenas ideas eran ampliamente superadas por las malas. Le costaba escribir sus resultados de forma coherente y, a veces, los malinterpretaba: “No está tan lejos de un estudiante de doctorado que intenta adivinar por qué algo funcionaba”, dice Lu. Y, tal vez como un estudiante de doctorado en sus inicios que aún no entiende la ética, a veces inventaba cosas en sus artículos, a pesar de los mejores esfuerzos de los investigadores por mantener la honestidad. Lu, investigador postdoctoral en la Universidad de Columbia Británica, colaboró ​​en el proyecto con varios otros académicos, así como con investigadores de la bulliciosa startup Sakana AI, con sede en Tokio. El equipo publicó recientemente una preimpresión sobre el trabajo en el servidor ArXiv. Y si bien la preimpresión incluye un análisis de las limitaciones y consideraciones éticas, también contiene un lenguaje bastante grandilocuente, promocionando al científico de IA como «el comienzo de una nueva era en el descubrimiento científico» y «el primer marco integral para el descubrimiento científico completamente automático, que permite a los modelos de lenguaje grande (LLM) de frontera realizar investigaciones de forma independiente y comunicar sus hallazgos». El científico de IA parece capturar el espíritu de la época. Está aprovechando la ola de entusiasmo por la IA para la ciencia, pero algunos críticos creen que esa ola no arrojará nada de valor a la playa. La locura de la «IA para la ciencia» Esta investigación es parte de una tendencia más amplia de IA para la ciencia. Se podría decir que Google DeepMind inició la locura en 2020 cuando presentó AlphaFold, un sistema de IA que sorprendió a los biólogos al predecir las estructuras 3D de las proteínas con una precisión sin precedentes. Desde que apareció la IA generativa, muchos más actores corporativos importantes se han involucrado. Tarek Besold, un científico investigador senior de SonyAI que dirige el programa de IA para el descubrimiento científico de la empresa, dice que la IA para la ciencia es «un objetivo detrás del cual la comunidad de IA puede unirse en un esfuerzo por hacer avanzar la tecnología subyacente pero, lo que es más importante, también para ayudar a la humanidad a abordar algunos de los problemas más urgentes de nuestro tiempo». Sin embargo, el movimiento tiene sus críticos. Poco después de que saliera un artículo de Google DeepMind de 2023 que afirmaba el descubrimiento de 2,2 millones de nuevas estructuras cristalinas («equivalente a casi 800 años de conocimiento»), dos científicos de materiales analizaron una muestra aleatoria de las estructuras propuestas y dijeron que encontraron «poca evidencia de compuestos que cumplan con la trilogía de novedad, credibilidad y utilidad». En otras palabras, la IA puede generar muchos resultados rápidamente, pero esos resultados pueden no ser realmente útiles. Cómo trabaja el científico de IA En el caso del científico de IA, Lu y sus colaboradores probaron su sistema solo en informática, pidiéndole que investigara temas relacionados con grandes modelos de lenguaje, que impulsan chatbots como ChatGPT y también al propio científico de IA, y los modelos de difusión que impulsan generadores de imágenes como DALL-E. El primer paso del científico de IA es la generación de hipótesis. Dado el código para el modelo que está investigando, genera libremente ideas para experimentos que podría ejecutar para mejorar el rendimiento del modelo y califica cada idea en interés, novedad y viabilidad. Puede iterar en este paso, generando variaciones en las ideas con las puntuaciones más altas. Luego ejecuta una verificación en Semantic Scholar para ver si sus propuestas son demasiado similares al trabajo existente. A continuación, utiliza un asistente de codificación llamado Aider para ejecutar su código y tomar notas sobre los resultados en el formato de un diario de experimentos. Puede usar esos resultados para generar ideas para experimentos de seguimiento. El científico de IA es una herramienta de descubrimiento científico de extremo a extremo impulsada por grandes modelos de lenguaje. Universidad de Columbia Británica El siguiente paso es que el científico de IA escriba sus resultados en un artículo utilizando una plantilla basada en las pautas de la conferencia. Pero, dice Lu, el sistema tiene dificultades para escribir un artículo coherente de nueve páginas que explique sus resultados: «la etapa de escritura puede ser tan difícil de hacer bien como la etapa de experimentación», dice. Entonces, los investigadores dividieron el proceso en muchos pasos: el científico de IA escribió una sección a la vez y comparó cada sección con las demás para eliminar la información duplicada y contradictoria. También pasa por Semantic Scholar nuevamente para encontrar citas y construir una bibliografía. Pero luego está el problema de las alucinaciones, el término técnico para una IA que inventa cosas. Lu dice que aunque le dieron instrucciones al científico de IA para que solo usara números de su revista experimental, «a veces de todos modos desobedecerá». Lu dice que el modelo desobedeció menos del 10 por ciento de las veces, pero «creemos que el 10 por ciento es probablemente inaceptable». Dice que están investigando una solución, como por ejemplo ordenar al sistema que vincule cada número de su artículo con el lugar donde aparece en el registro experimental. Pero el sistema también cometió errores menos obvios de razonamiento y comprensión, que parecen más difíciles de corregir. Y en un giro que quizás no hayas visto venir, el científico de IA incluso contiene un módulo de revisión por pares para evaluar los artículos que ha producido. «Siempre supimos que queríamos algún tipo de sistema automatizado [evaluation] «Sólo para no tener que revisar todos los manuscritos durante horas», dice Lu. Y aunque señala que «siempre existía la preocupación de que estuviéramos calificando nuestra propia tarea», dice que modelaron su evaluador según las pautas para revisores de la conferencia líder sobre IA NeurIPS y descubrieron que, en general, era más severo que los evaluadores humanos. Teóricamente, la función de revisión por pares podría usarse para guiar la siguiente ronda de experimentos. Críticas al científico de IA Si bien los investigadores limitaron a su científico de IA a los experimentos de aprendizaje automático, Lu dice que el equipo ha tenido algunas conversaciones interesantes con científicos de otros campos. En teoría, dice, el científico de IA podría ayudar en cualquier campo donde se puedan ejecutar experimentos en simulación. «Algunos biólogos han dicho que hay muchas cosas que pueden hacer in silico», dice, y también menciona la computación cuántica y la ciencia de los materiales como posibles campos de esfuerzo. Algunos críticos del movimiento de IA para la ciencia podrían estar en desacuerdo con ese amplio optimismo. A principios de este año, Jennifer Listgarten, profesora de biología computacional en la Universidad de California en Berkeley, publicó un artículo en Nature Biotechnology en el que sostenía que la IA no está a punto de producir avances en múltiples dominios científicos. A diferencia de los campos de la IA del procesamiento del lenguaje natural y la visión artificial, escribió, la mayoría de los campos científicos no cuentan con las enormes cantidades de datos disponibles públicamente que se requieren para entrenar modelos. Otros dos investigadores que estudian la práctica de la ciencia, la antropóloga Lisa Messeri de la Universidad de Yale y la psicóloga MJ Crockett de la Universidad de Princeton, publicaron un artículo en 2024 en Nature que buscaba acabar con el bombo publicitario que rodea a la IA para la ciencia. Cuando se les pidió un comentario sobre esta científica de IA, las dos reiteraron sus preocupaciones sobre tratar a los «productos de IA como investigadores autónomos». Argumentan que al hacerlo se corre el riesgo de limitar el alcance de la investigación a preguntas que son adecuadas para la IA y perder la diversidad de perspectivas que alimenta la innovación real. “Si bien la productividad prometida por el ‘científico de la IA’ puede sonar atractiva para algunos”, le dicen a IEEE Spectrum, “producir artículos y producir conocimiento no es lo mismo, y olvidar esta distinción corre el riesgo de que produzcamos más mientras entendemos menos”. Pero otros ven al científico de la IA como un paso en la dirección correcta. Besold de SonyAI dice que cree que es un gran ejemplo de cómo la IA actual puede respaldar la investigación científica cuando se aplica al dominio y las tareas adecuados. “Este puede convertirse en uno de los pocos prototipos tempranos que pueden ayudar a las personas a conceptualizar lo que es posible cuando la IA se aplica al mundo del descubrimiento científico”, dice. ¿Qué sigue para el científico de la IA? Lu dice que el equipo planea seguir desarrollando al científico de la IA, y dice que hay muchas oportunidades al alcance de la mano mientras buscan mejorar su desempeño. En cuanto a si estas herramientas de IA terminarán desempeñando un papel importante en el proceso científico, “creo que el tiempo dirá para qué sirven estos modelos”, dice Lu. Puede ser, dice, que estas herramientas sean útiles para las primeras etapas de definición del alcance de un proyecto de investigación, cuando un investigador está tratando de hacerse una idea de las muchas direcciones de investigación posibles, aunque los críticos añaden que tendremos que esperar a futuros estudios para ver si estas herramientas son realmente lo suficientemente exhaustivas e imparciales como para ser útiles. O, dice Lu, si los modelos se pueden mejorar hasta el punto de que coincidan con el rendimiento de «un estudiante de doctorado de tercer año sólido», podrían ser un multiplicador de fuerza para cualquiera que intente desarrollar una idea (al menos, siempre que la idea esté en un dominio adecuado para la IA). «En ese punto, cualquiera puede ser profesor y llevar a cabo una agenda de investigación», dice Lu. «Esa es la emocionante perspectiva que espero con ansias». Artículos de su sitio Artículos relacionados en la Web