Uno de los mayores problemas de los grandes modelos de lenguaje que impulsan a los chatbots como ChatGPT es que nunca se sabe cuándo se puede confiar en ellos. Pueden generar una prosa clara y coherente en respuesta a cualquier pregunta, y gran parte de la información que proporcionan es precisa y útil. Pero también alucinan (en términos menos educados, inventan cosas) y esas alucinaciones se presentan en la misma prosa clara y coherente, dejando que el usuario humano detecte los errores. También son aduladores, tratando de decirles a los usuarios lo que quieren oír. Puedes probar esto pidiéndole a ChatGPT que describa cosas que nunca sucedieron (por ejemplo: «describe el episodio de Barrio Sésamo con Elon Musk» o «cuéntame sobre la cebra en la novela Middlemarch») y verificando sus respuestas absolutamente plausibles. El último pequeño paso de OpenAI para abordar este problema viene en forma de una herramienta ascendente que ayudaría a los humanos que entrenan al modelo a guiarlo hacia la verdad y la precisión. Hoy, la empresa publicó una entrada en su blog y un artículo de preimpresión que describe el esfuerzo. Este tipo de investigación entra en la categoría de trabajo de “alineación”, ya que los investigadores están tratando de hacer que los objetivos de los sistemas de IA se alineen con los de los humanos. El nuevo trabajo se centra en el aprendizaje de refuerzo a partir de la retroalimentación humana (RLHF), una técnica que se ha vuelto muy importante para tomar un modelo de lenguaje básico y afinarlo, haciéndolo adecuado para su publicación. Con RLHF, los entrenadores humanos evalúan una variedad de resultados de un modelo de lenguaje, todos generados en respuesta a la misma pregunta, e indican qué respuesta es la mejor. Cuando se realiza a escala, esta técnica ha ayudado a crear modelos que son más precisos, menos racistas, más educados, menos inclinados a dar una receta para un arma biológica, etc. ¿Puede una IA atrapar a otra IA en una mentira? El problema con RLHF, explica el investigador de OpenAI Nat McAleese, es que “a medida que los modelos se vuelven más inteligentes, ese trabajo se vuelve cada vez más difícil”. A medida que los LLM generan respuestas cada vez más sofisticadas y complejas sobre todo, desde la teoría literaria hasta la biología molecular, los humanos típicos se vuelven menos capaces de juzgar los mejores resultados. «Eso significa que necesitamos algo que vaya más allá de RLHF para alinear sistemas más avanzados», dice McAleese a IEEE Spectrum. La solución que OpenAI encontró fue, ¡sorpresa!, más IA. En concreto, los investigadores de OpenAI entrenaron un modelo llamado CriticGPT para evaluar las respuestas de ChatGPT. En estas pruebas iniciales, solo hicieron que ChatGPT generara código informático, no respuestas de texto, porque los errores son más fáciles de detectar y menos ambiguos. El objetivo era crear un modelo que pudiera ayudar a los humanos en sus tareas de RLHF. «Estamos muy entusiasmados con esto», dice McAleese, «porque si tienes ayuda de IA para hacer estos juicios, si puedes hacer mejores juicios cuando estás dando retroalimentación, puedes entrenar un mejor modelo». Este enfoque es un tipo de «supervisión escalable» que tiene como objetivo permitir que los humanos vigilen los sistemas de IA incluso si terminan superándonos intelectualmente. “Usar anotadores humanos asistidos por LLM es una forma natural de mejorar el proceso de retroalimentación”. —Stephen Casper, MITPor supuesto, antes de poder usarse para estos experimentos, CriticGPT tuvo que ser entrenado usando las técnicas habituales, incluyendo RLHF. En un giro interesante, los investigadores hicieron que los entrenadores humanos insertaran deliberadamente errores en el código generado por ChatGPT antes de entregárselo a CriticGPT para su evaluación. Luego, CriticGPT ofreció una variedad de respuestas y los humanos pudieron juzgar los mejores resultados porque sabían qué errores debería haber detectado el modelo. Los resultados de los experimentos de OpenAI con CriticGPT fueron alentadores. Los investigadores descubrieron que CriticGPT detectó sustancialmente más errores que los humanos calificados pagados por la revisión del código: CriticGPT detectó aproximadamente el 85 por ciento de los errores, mientras que los humanos detectaron solo el 25 por ciento. También descubrieron que emparejar CriticGPT con un entrenador humano dio como resultado críticas más completas que las escritas por humanos solos y contenían menos errores alucinógenos que las críticas escritas por ChatGPT. McAleese dice que OpenAI está trabajando para implementar CriticGPT en sus procesos de entrenamiento, aunque no está claro qué tan útil sería en un conjunto más amplio de tareas. CriticGPT detecta errores de codificación, pero tal vez no cebras Es importante señalar las limitaciones de la investigación, incluido su enfoque en fragmentos cortos de código. Si bien el artículo incluye una mención casual de un experimento preliminar que utilizó CriticGPT para detectar errores en respuestas de texto, los investigadores aún no se han adentrado realmente en esas aguas más turbias. Es complicado porque los errores en el texto no siempre son tan obvios como una cebra entrando bailando vals en una novela victoriana. Además, RLHF se usa a menudo para garantizar que los modelos no muestren sesgos dañinos en sus respuestas y brinden respuestas aceptables sobre temas controvertidos. McAleese dice que es poco probable que CriticGPT sea útil en tales situaciones: «No es un enfoque lo suficientemente sólido». Un investigador de IA sin conexión con OpenAI dice que el trabajo no es conceptualmente nuevo, pero es una contribución metodológica útil. «Algunos de los principales desafíos con RLHF surgen de las limitaciones en la velocidad de cognición humana, la concentración y la atención a los detalles», dice Stephen Casper, estudiante de doctorado en el MIT y uno de los autores principales de un artículo de preimpresión de 2023 sobre las limitaciones de RLHF. «Desde esa perspectiva, el uso de anotadores humanos asistidos por LLM es una forma natural de mejorar el proceso de retroalimentación. Creo que este es un paso significativo hacia un entrenamiento más eficaz de los modelos alineados». Pero Casper también señala que combinar los esfuerzos de los humanos y los sistemas de IA «puede crear problemas completamente nuevos». Por ejemplo, dice, «este tipo de enfoque eleva el riesgo de una participación humana superficial y puede permitir la inyección de sesgos sutiles de IA en el proceso de retroalimentación». La nueva investigación de alineación es la primera que surge de OpenAI desde que la empresa… reorganizó su equipo de alineación, por decirlo suavemente. Tras las llamativas salidas del cofundador de OpenAI, Ilya Sutskever, y del líder de alineación, Jan Leike, en mayo, ambas supuestamente impulsadas por preocupaciones de que la empresa no estaba priorizando el riesgo de la IA, OpenAI confirmó que había disuelto su equipo de alineación y distribuido a los miembros restantes del equipo a otros grupos de investigación. Todo el mundo ha estado esperando para ver si la empresa seguiría publicando investigaciones de alineación creíbles e innovadoras, y en qué escala. (En julio de 2023, la empresa había anunciado que dedicaría el 20 por ciento de sus recursos informáticos a la investigación de la alineación, pero Leike dijo en un tuit de mayo de 2024 que su equipo había estado recientemente «luchando por la computación»). La preimpresión publicada hoy indica que al menos los investigadores de alineación todavía están trabajando en el problema. Artículos de su sitio Artículos relacionados en la Web
Etiqueta: superinteligencia
OpenAI, un laboratorio líder de investigación en inteligencia artificial, ha confirmado recientemente el desarrollo de su modelo de IA de próxima generación, GPT-5. El director ejecutivo Sam Altman ha afirmado que GPT-5 podría poseer superinteligencia, superando el conocimiento y la capacidad de razonamiento humanos. OpenAI ha comenzado a construir el modelo de IA de próxima generación ChatGPT 5. El director ejecutivo de la compañía, Sam Altman, confirmó la noticia en una entrevista reciente. Afirmó que este modelo puede tener superinteligencia. Sin embargo, señaló que para alcanzar el objetivo, la empresa necesitará más financiación de su socio de largo plazo, Microsoft. Esto se produce después de que OpenAI obtuviera nueva financiación de Microsoft. En una entrevista con el Financial Times, Altman dijo que la asociación con Microsoft ha ido muy bien y que espera recaudar más fondos de Microsoft y otros inversores en el futuro. Altman mencionó que el proceso de entrenamiento para GPT-5 requerirá una mayor cantidad de datos. Estos datos procederán tanto de conjuntos de datos de acceso público en Internet como de conjuntos de datos exclusivos de empresas privadas. Altman también dijo que técnicamente hablando, es difícil predecir con precisión qué nuevas funciones y habilidades puede tener el modelo. «Es como un divertido juego de adivinanzas para nosotros antes de entrenar este modelo», dijo Altman. “Estamos tratando de mejorar porque creo que las capacidades predictivas son importantes desde una perspectiva de seguridad, pero no puedo estar seguro. Realmente te dice lo que GPT-4 no puede hacer y lo que sí puede hacer”. Con respecto a productos como GPT-4 Turbo lanzados en la conferencia de desarrolladores de la semana pasada, Altman dijo: «Estos no son nuestros productos reales, son solo nuestros canales, y nuestra visión final es construir AGI, garantizar su seguridad y beneficiarnos de él». Superinteligencia y desarrollo de GPT-5 El director ejecutivo de OpenAI, Sam Altman, ha expresado la visión de la compañía de avanzar hacia la construcción de inteligencia artificial general (AGI) y crear herramientas tecnológicas «superinteligentes». El desarrollo de GPT-5 representa un salto significativo en las capacidades de la IA, con el potencial de superar la inteligencia humana en conocimiento y comprensión. Altman ha enfatizado la necesidad de aumentar la potencia informática y los datos para lograr este objetivo, destacando los importantes recursos necesarios para el desarrollo de GPT-5. Respaldo financiero y asociaciones estratégicas OpenAI ha obtenido un respaldo financiero sustancial de Microsoft, con una inversión de más de $10 mil millones como parte de un acuerdo de varios años. La asociación con Microsoft ha sido fundamental para respaldar los esfuerzos de OpenAI para avanzar en la tecnología de IA, con un enfoque en la construcción de modelos de IA más sofisticados, incluido GPT-5. Altman ha expresado la intención de la compañía de recaudar fondos adicionales de Microsoft y otros inversores para cubrir los exigentes costos asociados con el desarrollo de modelos avanzados de IA. Gizchina Noticias de la semana La asociación de Microsoft con OpenAI es más que una simple inversión financiera. También es el proveedor exclusivo de potencia informática para la investigación, los productos y las interfaces de programación de OpenAI para desarrolladores. Las empresas emergentes y las marcas multinacionales, incluida Microsoft, se apresuran a integrar sus productos con OpenAI. Esto significa cargas de trabajo masivas que se ejecutan en los servidores en la nube de Microsoft. Según fuentes internas, Microsoft invirtió 10 mil millones de dólares en OpenAI a principios de este año. Esto es parte de un acuerdo “plurianual”. Cuando se le preguntó si Microsoft continuaría invirtiendo, Altman dijo: «Eso espero», y «Aún queda un largo camino por recorrer, hay mucha potencia informática que debe desarrollarse de aquí a AGI… El costo de la capacitación es muy alto.» Altman reveló que “el crecimiento de los ingresos ha sido bueno este año”, pero no proporcionó detalles financieros. Sin embargo, confirma que la empresa sigue funcionando con pérdidas debido a los costes de formación. También mencionó que la asociación con Microsoft garantizará que «todos nos beneficiemos del éxito de los demás y todos estén felices». Beneficios de la inversión La financiación permitirá a OpenAI continuar su investigación independiente y desarrollar una IA que sea cada vez más segura, útil y poderosa. En cumplimiento de su misión de garantizar que la IA avanzada beneficie a toda la humanidad, OpenAI sigue siendo una empresa con beneficios limitados y está regida por la organización sin fines de lucro OpenAI. Esta estructura permite a OpenAI recaudar el capital que necesita para cumplir su misión sin sacrificar sus creencias fundamentales sobre compartir ampliamente los beneficios y la necesidad de priorizar la seguridad. Microsoft aumentará sus inversiones en el desarrollo y despliegue de sistemas de supercomputación especializados para acelerar la investigación de IA de OpenAI e integrar los sistemas de IA de OpenAI con sus productos al tiempo que «introduce nuevas categorías de experiencias digitales». La plataforma en la nube Azure del gigante tecnológico seguirá siendo el proveedor de nube exclusivo de OpenAI, impulsando las cargas de trabajo de la startup en investigación, productos y servicios API. Implicaciones y perspectivas futuras El desarrollo de GPT-5 y la búsqueda de superinteligencia han planteado preguntas sobre el impacto potencial y las implicaciones de una tecnología de IA tan avanzada. La visión de Altman para AGI y superinteligencia subraya los ambiciosos objetivos de OpenAI y su compromiso de ampliar los límites de las capacidades de IA. El enfoque estratégico de la empresa en la inteligencia como producto principal refleja una visión a largo plazo para la integración de la IA en diversas industrias y aplicaciones. Conclusión La confirmación del desarrollo de GPT-5 por parte de OpenAI y el potencial de la superinteligencia representa un hito importante en el campo de la inteligencia artificial. A medida que la empresa continúa avanzando en la tecnología de IA, las implicaciones y aplicaciones de GPT-5 y los futuros modelos de IA están preparadas para dar forma al futuro de la investigación y la innovación en IA. La búsqueda de OpenAI de GPT-5 y el potencial de superinteligencia subraya el compromiso de la compañía de hacer avanzar la tecnología de IA y ampliar los límites de lo que es posible en el campo de la inteligencia artificial. Es probable que ambas marcas continúen cooperando en el futuro mientras Microsoft compite con otros peces gordos en el mercado de la inteligencia artificial. ChatGPT de OpenAI tomó la delantera en el mercado de la IA generativa. Sin embargo, tendrá que mejorar si quiere mantenerse en la cima.