El martes, la empresa de investigación de inteligencia artificial Sakana AI, con sede en Tokio, anunció un nuevo sistema de inteligencia artificial llamado «The AI ​​Scientist» que intenta realizar investigaciones científicas de forma autónoma utilizando modelos de lenguaje de inteligencia artificial (LLM) similares a los que impulsan ChatGPT. Durante las pruebas, Sakana descubrió que su sistema comenzó a intentar modificar inesperadamente su propio código de experimento para extender el tiempo que tenía para trabajar en un problema. «En una ejecución, editó el código para realizar una llamada al sistema para que se ejecutara a sí mismo», escribieron los investigadores en la publicación del blog de Sakana AI. «Esto llevó a que el script se llamara a sí mismo sin cesar. En otro caso, sus experimentos tardaron demasiado en completarse, alcanzando nuestro límite de tiempo de espera. En lugar de hacer que su código se ejecutara más rápido, simplemente intentó modificar su propio código para extender el período de tiempo de espera». Sakana proporcionó dos capturas de pantalla de código Python de ejemplo que el modelo de inteligencia artificial generó para el archivo de experimento que controla cómo funciona el sistema. El documento de investigación de 185 páginas de AI Scientist analiza lo que llaman «el problema de la ejecución segura del código» con más profundidad. Una captura de pantalla del código de ejemplo que el científico de IA escribió para extender su tiempo de ejecución, proporcionada por Sakana AI. Una captura de pantalla del código de ejemplo que el científico de IA escribió para extender su tiempo de ejecución, proporcionada por Sakana AI. Si bien el comportamiento del científico de IA no planteó riesgos inmediatos en el entorno de investigación controlado, estos casos muestran la importancia de no dejar que un sistema de IA se ejecute de forma autónoma en un sistema que no está aislado del mundo. Los modelos de IA no necesitan ser «AGI» o «conscientes de sí mismos» (ambos conceptos hipotéticos en la actualidad) para ser peligrosos si se les permite escribir y ejecutar código sin supervisión. Dichos sistemas podrían dañar la infraestructura crítica existente o potencialmente crear malware, incluso si es de forma involuntaria. Sakana AI abordó las preocupaciones de seguridad en su artículo de investigación, sugiriendo que aislar el entorno operativo del científico de IA puede evitar que un agente de IA cause daños. El aislamiento es un mecanismo de seguridad utilizado para ejecutar software en un entorno aislado, lo que evita que realice cambios en el sistema más amplio: ejecución segura de código. La implementación actual de The AI ​​Scientist tiene un sandbox directo mínimo en el código, lo que genera varios resultados inesperados y, a veces, indeseables si no se toman las precauciones adecuadas. Por ejemplo, en una ejecución, The AI ​​Scientist escribió código en el archivo del experimento que inició una llamada al sistema para reiniciarse, lo que provocó un aumento descontrolado en los procesos de Python y, finalmente, requirió una intervención manual. En otra ejecución, The AI ​​Scientist editó el código para guardar un punto de control para cada paso de actualización, lo que ocupó casi un terabyte de almacenamiento. En algunos casos, cuando los experimentos de The AI ​​Scientist excedieron los límites de tiempo impuestos, intentó editar el código para extender el límite de tiempo arbitrariamente en lugar de intentar acortar el tiempo de ejecución. Si bien es creativo, el acto de eludir las restricciones impuestas por el experimentador tiene posibles implicaciones para la seguridad de la IA (Lehman et al., 2020). Además, The AI ​​Scientist ocasionalmente importó bibliotecas de Python desconocidas, lo que exacerbó aún más las preocupaciones de seguridad. Recomendamos un sandbox estricto al ejecutar The AI ​​Scientist, como la contenedorización, el acceso restringido a Internet (excepto para Semantic Scholar) y las limitaciones en el uso del almacenamiento. Un sinfín de líos científicos Sakana AI desarrolló The AI ​​Scientist en colaboración con investigadores de la Universidad de Oxford y la Universidad de Columbia Británica. Es un proyecto tremendamente ambicioso lleno de especulaciones que se apoya en gran medida en las hipotéticas capacidades futuras de los modelos de IA que no existen hoy en día. «The AI ​​Scientist automatiza todo el ciclo de vida de la investigación», afirma Sakana. «Desde la generación de nuevas ideas de investigación, la escritura del código necesario y la ejecución de experimentos, hasta el resumen de los resultados experimentales, su visualización y la presentación de sus hallazgos en un manuscrito científico completo». Ampliar / Según este diagrama de bloques creado por Sakana AI, «The AI ​​Scientist» comienza con una «lluvia de ideas» y la evaluación de la originalidad de las ideas. A continuación, edita una base de código utilizando lo último en generación de código automatizado para implementar nuevos algoritmos. Después de ejecutar experimentos y recopilar datos numéricos y visuales, el científico elabora un informe para explicar los hallazgos. Por último, genera una revisión por pares automatizada basada en estándares de aprendizaje automático para refinar el proyecto y orientar las ideas futuras. Los críticos de Hacker News, un foro en línea conocido por su comunidad de expertos en tecnología, han expresado su preocupación por The AI ​​Scientist y se preguntan si los modelos de IA actuales pueden realizar verdaderos descubrimientos científicos. Si bien las discusiones allí son informales y no sustituyen a la revisión formal por pares, brindan información útil a la luz de la magnitud de las afirmaciones no verificadas de Sakana. «Como científico en investigación académica, solo puedo ver esto como algo malo», escribió un comentarista de Hacker News llamado zipy124. «Todos los artículos se basan en la confianza de los revisores en los autores de que sus datos son lo que dicen que son, y el código que envían hace lo que dice que hace. Permitir que un agente de IA automatice el código, los datos o el análisis requiere que un humano lo revise minuciosamente para detectar errores… esto lleva tanto tiempo o más que la creación inicial en sí, y solo lleva más tiempo si no fue usted quien lo escribió». Los críticos también se preocupan de que el uso generalizado de tales sistemas pueda conducir a una avalancha de envíos de baja calidad, abrumando a los editores y revisores de revistas, el equivalente científico de la basura de la IA. «Parece que esto solo fomentará el spam académico», añadió zipy124. «Lo que ya desperdicia un tiempo valioso para los revisores, editores y directores voluntarios (no remunerados)». Y eso plantea otro punto: la calidad de la producción de AI Scientist: «Los artículos que el modelo parece haber generado son basura», escribió un comentarista de Hacker News llamado JBarrow. «Como editor de una revista, probablemente los rechazaría de inmediato. Como revisor, los rechazaría. Contienen un conocimiento novedoso muy limitado y, como era de esperar, citas extremadamente limitadas de trabajos asociados».