Más de 150 destacados investigadores, especialistas en ética y otras personas en inteligencia artificial (IA) firmaron una carta abierta pidiendo a las empresas de IA generativa (genAI) que se sometan a evaluaciones independientes de sus sistemas, cuya falta ha generado preocupaciones sobre las protecciones básicas. , redactado por investigadores del MIT, Princeton y la Universidad de Stanford, pidió protecciones legales y técnicas para la investigación de buena fe sobre modelos genAI, lo que, según dijeron, está obstaculizando las medidas de seguridad que podrían ayudar a proteger al público. La carta y un estudio detrás de ella , se creó con la ayuda de casi dos docenas de profesores e investigadores que pidieron un «puerto seguro» legal para la evaluación independiente de los productos genAI. La carta se envió a empresas como OpenAI, Anthropic, Google, Meta y Midjourney, y les pide permitir a los investigadores investigar sus productos para garantizar que los consumidores estén protegidos contra prejuicios, supuestas infracciones de derechos de autor e imágenes íntimas no consensuales. “La evaluación independiente de los modelos de IA que ya están implementados se considera ampliamente esencial para garantizar la seguridad y la confianza, ”, escribieron dos de los investigadores responsables de la carta en una publicación de blog. «La investigación independiente de modelos de IA en equipos rojos ha descubierto vulnerabilidades relacionadas con lenguajes de bajos recursos, elusión de medidas de seguridad y una amplia gama de fugas». Estas evaluaciones investigan un amplio conjunto de fallas del modelo a menudo imprevistas, relacionadas con el mal uso, el sesgo, los derechos de autor, y otras cuestiones”, dijeron. En abril pasado, un quién es quién de los tecnólogos pidió a los laboratorios de IA que dejaran de entrenar los sistemas más potentes durante al menos seis meses, citando «profundos riesgos para la sociedad y la humanidad». Esa carta abierta tiene ahora más de 3.100 firmantes, incluido el cofundador de Apple. Steve Wozniak; Los líderes tecnológicos criticaron en particular el algoritmo GPT-4 recientemente anunciado por OpenAI Lab, con sede en San Francisco, y dijeron que la compañía debería detener su desarrollo hasta que se establezcan estándares de supervisión. La última carta decía que las empresas de IA, los investigadores académicos y la sociedad civil “están de acuerdo en que los sistemas generativos de IA plantean riesgos notables y que la evaluación independiente de estos riesgos es una forma esencial de rendición de cuentas”. Entre los firmantes se incluyen profesores de escuelas de la Ivy League y otras universidades destacadas. incluido el MIT, así como ejecutivos de empresas como Hugging Face y Mozilla. La lista también incluye investigadores y especialistas en ética como Dhanaraj Thakur, director de investigación del Centro para la Democracia y la Tecnología, y Subhabrata Majumdar, presidente de AI Risk and Vulnerability Alliance. Instituto Knight de la Primera Enmienda, Universidad de Columbia. Si bien la carta reconoce e incluso elogia el hecho de que algunos fabricantes de genAI tienen programas especiales para brindar a los investigadores acceso a sus sistemas, también los denuncia por ser subjetivos sobre quién puede o no ver su tecnología. En particular, Los investigadores señalaron a las empresas de inteligencia artificial Cohere y OpenAI como excepciones a la regla, «aunque persiste cierta ambigüedad en cuanto al alcance de las actividades protegidas». Cohere permite “pruebas de estrés intencionales de la API y ataques adversarios” siempre que se divulgue la vulnerabilidad de manera adecuada (sin promesas legales explícitas). Y OpenAI amplió su puerto seguro para incluir “investigación de vulnerabilidad de modelos” e “investigación de seguridad de modelos académicos” en respuesta a un primer borrador de nuestra propuesta. En otros casos, las empresas de genAI ya suspendieron las cuentas de los investigadores e incluso cambiaron sus términos de servicio para disuadirlos. En algunos tipos de evaluación, según los investigadores, «desempoderar a los investigadores independientes no redunda en interés de las empresas de IA». Los evaluadores independientes que investigan los productos genAI temen la suspensión de la cuenta (sin posibilidad de apelación) y riesgos legales, «los cuales pueden «Tienen efectos paralizantes en la investigación», argumenta la carta. Para ayudar a proteger a los usuarios, los firmantes quieren que las empresas de IA proporcionen dos niveles de protección a la investigación: Un presagio legal seguro para garantizar una investigación independiente de buena fe sobre la seguridad y la confiabilidad de la IA que se lleve a cabo con divulgación de vulnerabilidades bien establecida. Un compromiso corporativo con un acceso más equitativo mediante el uso de revisores independientes para moderar las solicitudes de evaluación de los investigadores. Computerworld contactó a OpenAI y Google para obtener una respuesta, pero ninguna de las compañías hizo comentarios inmediatos. Copyright © 2024 IDG Communications, Inc.

Source link