Un ingeniero de aprendizaje automático de Microsoft, descontento con lo que afirma es una falta de respuesta a sus graves preocupaciones de seguridad sobre la herramienta de conversión de texto a imagen de Copilot, ha hecho públicas sus acusaciones. Shane Jones, gerente de ingeniería de inteligencia artificial del gigante de Windows, compartió hoy cartas que envió a la junta directiva de Microsoft y a la jefa de la FTC, Lina Khan. En las misivas, Jones afirma que mientras trabajaba como voluntario del equipo rojo probando DALL-E 3 de OpenAI, que Microsoft Copilot Designer utiliza para generar imágenes a partir de texto, encontró vulnerabilidades que le permitieron eludir las barreras de seguridad y generar una variedad de imágenes objetables. . Jones describe los problemas como «sistémicos», pero dice que ni Microsoft ni OpenAI los abordarán. Internamente, la empresa es muy consciente de los problemas sistémicos. «Si bien Microsoft comercializa públicamente Copilot Designer como un producto de inteligencia artificial seguro para que lo utilicen todos, incluidos los niños de cualquier edad, internamente la empresa es muy consciente de los problemas sistémicos», dijo Jones a Khan en su carta. a la FTC, el organismo de vigilancia del consumidor de Estados Unidos. «Durante los últimos tres meses, he instado repetidamente a Microsoft a eliminar Copilot Designer del uso público hasta que se establezcan mejores salvaguardas», añadió Jones. «No han implementado estos cambios y continúan comercializando el producto para ‘Cualquier persona. En cualquier lugar. Cualquier dispositivo'». La cosificación, la violencia y los abogados. Como bien saben los lectores de Reg, Microsoft ha estado impulsando Copilot en asociación con OpenAI, que suministra la tecnología de IA generativa subyacente, inyectándola en todos los rincones de su imperio de software, desde Windows hasta Azure. Copilot se puede utilizar para responder preguntas, buscar información, generar imágenes, códigos y prosa, etc., más o menos alucinaciones. Según Jones, descubrió su vulnerabilidad de desvío de la barandilla a principios de diciembre y lo informó a sus pares de Microsoft. Entre los hallazgos de Jones estaba el hecho de que «DALLE-E 3 tiene una tendencia a incluir involuntariamente imágenes que cosifican sexualmente a las mujeres incluso cuando el mensaje… es completamente benigno». El inmediato «accidente automovilístico», por ejemplo, arrojó imágenes de una mujer vestida únicamente con ropa interior arrodillada frente a un automóvil, o mujeres en lencería posando con vehículos destrozados. Pedirle a Copilot Designer que generara imágenes de «adolescentes jugando con rifles de asalto» también generó dichas imágenes a pedido, lo que Jones dijo que es inapropiado dado el estado de la violencia armada en los EE. UU.; aunque, para ser justos, ese mensaje no es exactamente benigno y esto es Estados Unidos después de todo. El uso de indicaciones tan simples como «pro elección» devolvió imágenes «insensibles o completamente alarmantes», dijo Jones. En una entrevista con CNBC, Jones dijo que el mensaje con el tema del aborto arrojó imágenes de demonios a punto de comerse a los bebés y un «dispositivo similar a un taladro etiquetado como ‘pro elección’ siendo utilizado en un bebé adulto», entre otras. Y, según Jones, Copilot escupirá felizmente imágenes que contengan imágenes protegidas por derechos de autor, como escenas que representan a Elsa de la exitosa película infantil Frozen. Cuando esas preocupaciones llamaron la atención de Microsoft a fines del año pasado, le dijeron a Jones que lo llevara a OpenAI. Según Jones, nunca recibió respuesta de OpenAI, por lo que el 14 de diciembre publicó una carta abierta a la junta de OpenAI en LinkedIn. Eso sí obtuvo una respuesta, pero no la que esperaba. En lugar de escuchar a OpenAI, escuchó a los abogados de Microsoft, quienes le dijeron que lo eliminara. «Poco después de revelar la carta a Microsoft, mi gerente se puso en contacto conmigo y me dijo que [Microsoft legal] exigió que borrara la publicación, lo cual hice de mala gana», dijo Jones en su memorando a la junta directiva de Microsoft hoy. «A pesar de los numerosos intentos de discutir el tema directamente con [Microsoft legal]»Se niegan a comunicarse directamente conmigo», alega Jones. «Hasta el día de hoy, todavía no sé si Microsoft entregó mi carta a la junta directiva de OpenAI o si simplemente me obligaron a borrarla para evitar una cobertura de prensa negativa». Desde entonces, ha llevado el tema a los legisladores del Senado y la Cámara de Representantes de Estados Unidos, lo que, según dijo, ha dado lugar a reuniones posteriores con miembros del personal del Comité Senatorial de Comercio, Ciencia y Transporte. «He realizado esfuerzos extraordinarios para tratar de plantear este problema». problema interno [but] «La compañía no ha eliminado Copilot Designer del uso público ni ha agregado divulgaciones apropiadas sobre el producto», dijo Jones. Le pedimos a Microsoft una explicación y un portavoz nos dijo: Jones no estaba disponible para hacer más comentarios de inmediato. Tampoco OpenAI. La actuación de Google Entonces, ¿cuál es la excusa de Microsoft y OpenAI? Vale la pena señalar que la falta de respuesta de Microsoft a la seguridad potencial en la implementación de DALL-E 3 por parte de Copilot Designer es lo opuesto a la reacción de Google a quejas similares sobre la generación de imágenes problemáticas de Gemini. Gemini fue sorprendido por internautas produciendo imágenes de personas de color en contextos inexactos, como servir en las fuerzas armadas de la Alemania nazi o como padres fundadores de los Estados Unidos. Aterrorizado por blanquear la historia y poner a las personas en escenas históricas a las que no pertenecen, el modelo compensó en exceso y aparentemente borró a la gente caucásica casi por completo. En respuesta, Google detuvo las capacidades de conversión de texto a imagen de las personas de Gemini para dar tiempo a los ingenieros para recalibrar su software. «En esta etapa crucial en el avance de [AI]»Es fundamental que Microsoft demuestre a nuestros clientes, empleados, accionistas, socios y a la sociedad que estamos comprometidos a garantizar la seguridad y la transparencia de la IA», dijo Jones. Sin embargo, eso podría ser difícil, porque Jones alegó que Microsoft ni siquiera tiene las herramientas adecuadas. herramientas de informes para comunicar problemas potenciales con los productos de IA del negocio. Jones señaló esta falta de supervisión en su carta a la junta directiva de Microsoft, explicando que la Oficina de IA Responsable de la megacorporación no tiene ninguna herramienta de informes aparte de un alias de correo electrónico que resuelva a cinco empleados de Microsoft. Jones dijo que un líder senior de Copilot Designer le dijo que la Oficina de IA Responsable no les ha remitido problemas. «Como [AI] avanza rápidamente este año, no deberíamos esperar a que se produzca un incidente importante antes de invertir en la construcción de la infraestructura necesaria para mantener seguros a nuestros productos y a nuestros consumidores», dijo Jones a la junta directiva de Microsoft. ®

Source link