La revolución de los chatbots ha dejado nuestro mundo inundado de texto generado por IA: se ha infiltrado en nuestras fuentes de noticias, trabajos finales y bandejas de entrada. Es tan absurdamente abundante que han surgido industrias que ofrecen medidas y contramedidas. Algunas empresas ofrecen servicios para identificar texto generado por IA mediante el análisis del material, mientras que otras dicen que sus herramientas “humanizarán” su texto generado por IA y lo harán indetectable. Ambos tipos de herramientas tienen un rendimiento cuestionable y, a medida que los chatbots mejoran cada vez más, será cada vez más difícil saber si las palabras fueron unidas por un ser humano o por un algoritmo. Aquí hay otro enfoque: agregar algún tipo de marca de agua o credencial de contenido al texto. desde el principio, lo que permite a las personas comprobar fácilmente si el texto fue generado por IA. Una nueva investigación de Google DeepMind, descrita hoy en la revista Nature, ofrece una manera de hacer precisamente eso. El sistema, llamado SynthID-Text, no compromete “la calidad, precisión, creatividad o velocidad de la generación de texto”, dice Pushmeet Kohli, vicepresidente de investigación de Google DeepMind y coautor del artículo. Pero los investigadores reconocen que su sistema está lejos de ser infalible y aún no está disponible para todos; es más una demostración que una solución escalable. Google ya ha integrado este nuevo sistema de marcas de agua en su chatbot Gemini, anunció hoy la compañía. También abrió la herramienta y la puso a disposición de desarrolladores y empresas, permitiéndoles usar la herramienta para determinar si las salidas de texto provienen de sus propios modelos de lenguaje grandes (LLM), los sistemas de inteligencia artificial que impulsan los chatbots. Sin embargo, actualmente sólo Google y esos desarrolladores tienen acceso al detector que busca la marca de agua. Como dice Kohli: “Si bien SynthID no es una solución milagrosa para identificar contenido generado por IA, es un componente importante para desarrollar herramientas de identificación de IA más confiables”. El auge de las credenciales de contenido Las credenciales de contenido han sido un tema candente para las imágenes y video, y han sido vistos como una forma de combatir el aumento de los deepfakes. Las empresas de tecnología y los principales medios de comunicación se han unido en una iniciativa llamada C2PA, que ha desarrollado un sistema para adjuntar metadatos cifrados a archivos de imágenes y videos que indican si son reales o generados por IA. Pero el texto es un problema mucho más difícil, ya que el texto puede modificarse fácilmente para oscurecer o eliminar una marca de agua. Si bien SynthID-Text no es el primer intento de crear un sistema de marcas de agua para texto, es el primero que se prueba en 20 millones de solicitudes. Los expertos externos que trabajan en credenciales de contenido ven la investigación de DeepMind como un buen paso. “Es prometedor para mejorar el uso de credenciales de contenido duradero de C2PA para documentos y texto sin formato”, dice Andrew Jenks, director de procedencia de medios de Microsoft y presidente ejecutivo de C2PA. “Este es un problema difícil de resolver y es bueno ver que se logran algunos avances”, dice Bruce MacCormack, miembro del comité directivo de C2PA. Cómo funcionan las marcas de agua de texto de Google SynthID-Text funciona interfiriendo discretamente en el proceso de generación: altera algunas de las palabras que un chatbot envía al usuario de una manera que es invisible para los humanos pero clara para un detector SynthID. “Estas modificaciones introducen una firma estadística en el texto generado”, escriben los investigadores en el artículo. “Durante la fase de detección de marcas de agua, la firma se puede medir para determinar si el texto fue realmente generado por el LLM con marca de agua”. Los LLM que impulsan los chatbots funcionan generando oraciones palabra por palabra, observando el contexto de lo que vino antes para elegir. una próxima palabra probable. Esencialmente, SynthID-Text interfiere asignando aleatoriamente puntuaciones numéricas a las palabras candidatas y haciendo que el LLM genere palabras con puntuaciones más altas. Posteriormente, un detector puede captar un fragmento de texto y calcular su puntuación general; El texto con marca de agua tendrá una puntuación más alta que el texto sin marca de agua. El equipo de DeepMind comparó el rendimiento de su sistema con otras herramientas de marcas de agua de texto que alteran el proceso de generación y descubrió que hizo un mejor trabajo al detectar texto con marcas de agua. Sin embargo, los investigadores reconocen en su artículo que todavía es fácil alterar un texto generado por Gemini. y engañar al detector. Aunque los usuarios no sabrían qué palabras cambiar, si editan el texto significativamente o incluso le piden a otro chatbot que resuma el texto, la marca de agua probablemente quedará oculta. Prueba de marcas de agua de texto a escala Para asegurarse de que SynthID-Text realmente no hiciera que los chatbots produjeran peores respuestas, el equipo lo probó en 20 millones de mensajes dados a Gemini. La mitad de esas indicaciones se enviaron al sistema SynthID-Text y obtuvieron una respuesta con marca de agua, mientras que la otra mitad obtuvo la respuesta estándar de Gemini. A juzgar por los comentarios de “aprobación” y “aprobación” de los usuarios, las respuestas con marcas de agua fueron tan satisfactorias para los usuarios como las estándar. Lo cual es fantástico para Google y los desarrolladores que se basan en Gemini. Pero abordar el problema completo de identificar texto generado por IA (que algunos llaman desperdicio de IA) requerirá que muchas más empresas de IA implementen tecnologías de marcas de agua; idealmente, de manera interoperable para que un detector pueda identificar texto de muchos LLM diferentes. E incluso en el improbable caso de que todas las principales empresas de inteligencia artificial firmaran algún acuerdo, seguiría existiendo el problema de los LLM de código abierto, que pueden modificarse fácilmente para eliminar cualquier funcionalidad de marca de agua. MacCormack de C2PA señala que la detección es un problema particular cuando se empieza a pensar de manera práctica en la implementación. “Existen desafíos con la revisión de texto en estado salvaje”, dice, “donde habría que saber qué modelo de marca de agua se ha aplicado para saber cómo y dónde buscar la señal”. En general, dice, los investigadores todavía tienen mucho trabajo por delante. Este esfuerzo “no es un callejón sin salida”, dice MacCormack, “pero es el primer paso de un largo camino”.
Leave a Reply