En los últimos meses, hemos visto una llamada automática falsa de Joe Biden alentando a los votantes de New Hampshire a «guardar su voto para las elecciones de noviembre» y un respaldo falso a Donald Trump por parte de Taylor Swift. Está claro que 2024 marcará la primera “elección de IA” en la historia de Estados Unidos. Mientras muchos defensores piden salvaguardias contra los posibles daños de la IA a nuestra democracia, Meta (la empresa matriz de Facebook e Instagram) anunció con orgullo el mes pasado que etiquetará a la IA como -Contenido generado que se creó utilizando las herramientas de IA generativa más populares. La compañía dijo que está «creando herramientas líderes en la industria que pueden identificar marcadores invisibles a escala, específicamente, la información ‘generada por IA’ en los estándares técnicos C2PA e IPTC». Desafortunadamente, las empresas de redes sociales no resolverán el problema de los deepfakes en las redes sociales este año con este enfoque. De hecho, este nuevo esfuerzo hará muy poco para abordar el problema del material generado por IA que contamina el ambiente electoral. La debilidad más obvia es que el sistema de Meta solo funcionará si los malos actores que crean deepfakes usan herramientas que ya ponen marcas de agua, es decir, información oculta o visible sobre el origen del contenido digital en sus imágenes. Las herramientas de IA generativa de “código abierto” no seguras en su mayoría no producen marcas de agua en absoluto. (Usamos el término no seguro y ponemos “código abierto” entre comillas para indicar que muchas de estas herramientas no cumplen con las definiciones tradicionales de software de código abierto, pero aún representan una amenaza porque su código subyacente o sus pesos de modelo se han puesto a disposición del público. .) Si se lanzan nuevas versiones de estas herramientas no seguras que contienen marcas de agua, las herramientas antiguas seguirán estando disponibles y podrán producir contenido sin marcas de agua, incluida desinformación personalizada y altamente persuasiva y pornografía deepfake no consensuada. También nos preocupa que los malos actores pueden eludir fácilmente el régimen de etiquetado de Meta incluso si están utilizando las herramientas de inteligencia artificial que Meta dice que estarán cubiertas, que incluyen productos de Google, OpenAI, Microsoft, Adobe, Midjourney y Shutterstock. Dado que se necesitan unos dos segundos para eliminar una marca de agua de una imagen producida utilizando el estándar de marca de agua C2PA actual que estas empresas han implementado, la promesa de Meta de etiquetar imágenes generadas por IA fracasa. Cuando los autores subieron una imagen que habían generado a un sitio web que busca marcas de agua, el sitio indicó correctamente que era una imagen sintética generada por una herramienta OpenAI. IEEE SpectrumLo sabemos porque pudimos eliminar fácilmente las marcas de agua que Meta afirma que detectará, y ninguno de nosotros es ingeniero. Tampoco tuvimos que escribir una sola línea de código ni instalar ningún software. Primero, generamos una imagen con DALL-E 3 de OpenAI. Luego, para ver si la marca de agua funcionaba, subimos la imagen al sitio web de verificación de credenciales de contenido C2PA. Una interfaz simple y elegante nos mostró que esta imagen fue hecha con DALL-E 3 de OpenAI. ¿Cómo eliminamos entonces la marca de agua? Tomando una captura de pantalla. Cuando subimos la captura de pantalla al mismo sitio web de verificación, el sitio de verificación no encontró evidencia de que la imagen hubiera sido generada por IA. El mismo proceso funcionó cuando creamos una imagen con el generador de imágenes de IA de Meta y le tomamos una captura de pantalla y la subimos a un sitio web que detecta los metadatos de IPTC que contienen la «marca de agua» de IA de Meta. Sin embargo, cuando los autores tomaron una captura de pantalla de la imagen y cargó esa captura de pantalla en el mismo sitio de verificación, el sitio no encontró ninguna marca de agua y, por lo tanto, no hubo evidencia de que la imagen fuera generada por IA. IEEE Spectrum ¿Existe una mejor manera de identificar contenido generado por IA? El anuncio de Meta afirma que está «trabajando arduamente para desarrollar clasificadores que puedan ayudar… a detectar automáticamente contenido generado por IA, incluso si el contenido carece de marcadores invisibles». Es bueno que la compañía esté trabajando en ello, pero hasta que tenga éxito y comparta esta tecnología con toda la industria, nos quedaremos estancados preguntándonos si todo lo que vemos o escuchamos en línea es real. Para una solución más inmediata, la industria podría adoptar marcas de agua de máxima indelebilidad, es decir, marcas de agua que sean lo más difíciles de eliminar posible. Las marcas de agua imperfectas de hoy generalmente adjuntan información a un archivo en forma de metadatos. Para que las marcas de agua máximamente indelebles ofrezcan una mejora, deben ocultar información de manera imperceptible en los píxeles reales de las imágenes, las formas de onda del audio (Google Deepmind afirma haber hecho esto con su marca de agua patentada SynthID) o mediante patrones de frecuencia de palabras ligeramente modificados en IA. texto generado. Usamos el término «máximo» para reconocer que es posible que nunca exista una marca de agua perfectamente indeleble. Sin embargo, esto no es un problema sólo con las marcas de agua. El célebre experto en seguridad Bruce Schneier señala que “la seguridad informática no es un problema que tenga solución…. La seguridad siempre ha sido una carrera armamentista, y siempre lo será”. En términos metafóricos, es instructivo considerar la seguridad del automóvil. Ningún fabricante de automóviles ha producido jamás un coche que no pueda estrellarse. Sin embargo, eso no ha impedido que los reguladores implementen estándares de seguridad integrales que exigen cinturones de seguridad, bolsas de aire y cámaras retrovisoras en los automóviles. Si esperáramos a que se perfeccionaran las tecnologías de seguridad antes de exigir la implementación de las mejores opciones disponibles, estaríamos mucho peor en muchos ámbitos. Hay un impulso político cada vez mayor para abordar los deepfakes. Quince de las mayores empresas de IA, incluidas casi todas las mencionadas en este artículo, firmaron los Compromisos Voluntarios de IA de la Casa Blanca el año pasado, que incluían promesas de “desarrollar mecanismos sólidos, incluidos sistemas de procedencia y/o marcas de agua para contenido de audio o visual”. y «desarrollar herramientas o API para determinar si un contenido en particular se creó con su sistema». Desafortunadamente, la Casa Blanca no fijó ningún cronograma para los compromisos voluntarios. Luego, en octubre, la Casa Blanca, en su Orden Ejecutiva sobre IA, definió las marcas de agua de IA como “el acto de incrustar información, que normalmente es difícil de eliminar, en los resultados”. creado por IA, incluso en productos como fotografías, videos, clips de audio o texto, con el fin de verificar la autenticidad del producto o la identidad o características de su procedencia, modificaciones o transporte”. En la conferencia celebrada el 16 de febrero, un grupo de 20 empresas tecnológicas (la mitad de las cuales había firmado previamente los compromisos voluntarios) firmaron un nuevo “Acuerdo tecnológico para combatir el uso engañoso de la IA en las elecciones de 2024”. Sin asumir ningún compromiso concreto ni establecer cronogramas, el acuerdo ofrece una vaga intención de implementar algún tipo de marca de agua o esfuerzos de procedencia del contenido. Aunque no se especifica un estándar, el acuerdo enumera tanto a C2PA como a SynthID como ejemplos de tecnologías que podrían adoptarse. ¿Podrían ayudar las regulaciones? Hemos visto ejemplos de fuertes reacciones contra los deepfakes. Tras las llamadas automáticas de Biden generadas por IA, el Departamento de Justicia de New Hampshire inició una investigación en coordinación con socios estatales y federales, incluido un grupo de trabajo bipartidista formado por los 50 fiscales generales estatales y la Comisión Federal de Comunicaciones. Mientras tanto, a principios de febrero, la FCC aclaró que las llamadas que utilizan IA de generación de voz se considerarán artificiales y estarán sujetas a restricciones según las leyes existentes que regulan las llamadas automáticas. Desafortunadamente, no tenemos leyes que obliguen a los desarrolladores de IA ni a las empresas de redes sociales a actuar. El Congreso y los estados deberían exigir que todos los productos de IA generativa incorporen marcas de agua lo más indelebles posible en su contenido de imagen, audio, video y texto utilizando tecnología de punta. También deben abordar los riesgos de los sistemas no seguros de “fuente abierta” a los que se les puede desactivar la funcionalidad de marcas de agua o usarse para eliminar marcas de agua de otros contenidos. Además, se debe alentar a cualquier empresa que fabrique una herramienta de inteligencia artificial generativa a lanzar un detector que pueda identificar, con la mayor precisión posible, cualquier contenido que produzca. Esta propuesta no debería ser controvertida, ya que sus lineamientos generales ya han sido acordados por los firmantes de los compromisos voluntarios y el reciente acuerdo electoral. Las organizaciones de estándares como C2PA, el Instituto Nacional de Estándares y Tecnología y la Organización Internacional de Normalización deberían También avanzar más rápido para generar consenso y publicar estándares para marcas de agua y etiquetado de contenido máximamente indelebles en preparación para las leyes que requieren estas tecnologías. Google, como miembro más reciente del comité directivo de C2PA, también debería actuar rápidamente para abrir su aparentemente mejor tecnología de marca de agua SynthID a todos los miembros para que la prueben. La desinformación y el engaño a los votantes no son nada nuevo en las elecciones. Pero la IA está acelerando las amenazas existentes a nuestra ya frágil democracia. El Congreso también debe considerar qué medidas puede tomar para proteger nuestras elecciones en términos más generales de quienes buscan socavarlas. Eso debería incluir algunas medidas básicas, como aprobar la Ley de Prácticas Engañosas e Intimidación de Votantes, que haría ilegal mentir deliberadamente a los votantes sobre la hora, el lugar y la forma de las elecciones con la intención de impedirles votar en el período anterior. una elección federal. El Congreso ha sido lamentablemente lento a la hora de emprender una reforma democrática integral ante las recientes conmociones. La posible amplificación de estos shocks a través del abuso de la IA debería ser suficiente para lograr finalmente que los legisladores actúen. Artículos de su sitio Artículos relacionados en la Web

Source link