OpenAI, fabricante de ChatGPT, ha modificado la letra pequeña en sus políticas de uso para eliminar texto específico relacionado con el uso de su tecnología de inteligencia artificial o modelos de lenguaje grandes para «militares y guerras». Antes de que se realizara la modificación el 10 de enero, la política de uso específicamente no permitía el uso de modelos OpenAI para el desarrollo de armas, el ejército y la guerra, y contenido que promueva, fomente o represente actos de autolesión. OpenAI dijo que las políticas actualizadas resumen la lista y hacen que el documento sea más «legible» al tiempo que ofrece «orientación específica del servicio». La lista ahora se ha condensado en lo que la compañía denomina Políticas Universales, que no permiten que nadie utilice sus servicios para causar daño. a otros y prohibir la reutilización o distribución de cualquier resultado de sus modelos para causar daño a otros. Si bien la alternancia de las políticas se interpreta como una postura de debilitamiento gradual de la compañía contra el trabajo con organizaciones de defensa o relacionadas con el ejército, los «riesgos fronterizos» Varios expertos, incluido el director ejecutivo de OpenAI, Sam Altman, ya han destacado los riesgos que plantea la IA. En mayo del año pasado, cientos de líderes de la industria tecnológica, académicos y otras figuras públicas firmaron una carta abierta advirtiendo que la evolución de la IA podría conducir a una evento de extinción, diciendo que controlar la tecnología debería ser una máxima prioridad global. «Mitigar el riesgo de extinción de la IA debería ser una prioridad mundial junto con otros riesgos a escala social, como las pandemias y la guerra nuclear», se lee en la declaración publicada por el Centro para la Seguridad de la IA, con sede en San Francisco. Irónicamente, los firmantes más destacados del La parte superior de la carta incluía a Altman y al CTO de Microsoft, Kevin Scott. Ejecutivos, ingenieros y científicos del laboratorio de investigación de inteligencia artificial de Google, DeepMind, también firmaron la carta. La primera carta contra el uso de la IA llegó en marzo, en la que más de 1.100 luminarias, líderes y científicos de la tecnología emitieron una advertencia contra los laboratorios que realizaran experimentos a gran escala con IA. En octubre, OpenAI dijo que estaba preparando un equipo para evitar que lo que la compañía llama modelos de IA de frontera iniciaran una guerra nuclear y otras amenazas. “Creemos que los modelos de IA de vanguardia, que superarán las capacidades actualmente presentes en los modelos más avanzados existentes, tienen el potencial de beneficiar a toda la humanidad. Pero también plantean riesgos cada vez más graves”, dijo la compañía en una publicación de blog. En 2017, un grupo internacional de expertos en inteligencia artificial y robótica firmó una carta abierta a las Naciones Unidas para detener el uso de armas autónomas que amenazan con una “tercera revolución en guerra.» Entre estos expertos, nuevamente irónicamente, se encontraba Elon Musk, quien creó una empresa de inteligencia artificial, denominada X.AI, para competir con OpenAI. Motivos de preocupación Podría haber motivos para mayor preocupación. Algunos investigadores sostienen que los modelos de IA llamados “malos” o “malos” no se pueden reducir ni entrenar para que sean “buenos” con las técnicas existentes. Un trabajo de investigación, dirigido por Anthropic, que busca comprobar si un sistema de IA se puede enseñar comportamiento o estrategia engañosa, demostró que dicho comportamiento puede volverse persistente. “Encontramos que dicho comportamiento de puerta trasera puede volverse persistente, de modo que no se elimine mediante técnicas estándar de capacitación en seguridad, incluido el ajuste supervisado, el aprendizaje por refuerzo y el entrenamiento adversario. (provocando un comportamiento inseguro y luego entrenando para eliminarlo)”, escribieron los investigadores. «Nuestros resultados sugieren que, una vez que un modelo muestra un comportamiento engañoso, las técnicas estándar podrían no eliminar dicho engaño y crear una falsa impresión de seguridad», agregaron. Según los investigadores, lo que es aún más preocupante es que el uso del entrenamiento adversario Detener este comportamiento engañoso de los modelos puede enseñarles a reconocer mejor el desencadenante de su puerta trasera, ocultando efectivamente el comportamiento inseguro. Copyright © 2024 IDG Communications, Inc.

Source link