¿Por qué las empresas de inteligencia artificial, valoradas en millones y miles de millones de dólares, crean y distribuyen herramientas que pueden generar material de abuso sexual infantil (CSAM) generado por IA? Un generador de imágenes llamado Stable Diffusion versión 1.5, creado por la empresa de inteligencia artificial Runway con financiación de Stability AI, ha estado particularmente implicado en la producción de CSAM. Y plataformas populares como Hugging Face y Civitai han estado alojando ese modelo y otros que pueden haber sido entrenados con imágenes reales de abuso sexual infantil. En algunos casos, las empresas pueden incluso estar infringiendo leyes al alojar material sintético de CSAM en sus servidores. ¿Y por qué las empresas e inversores tradicionales como Google, Nvidia, Intel, Salesforce y Andreesen Horowitz están invirtiendo cientos de millones de dólares en estas empresas? Su apoyo equivale a subvencionar contenido para pedófilos. Como expertos en seguridad de la inteligencia artificial, hemos estado haciendo estas preguntas para denunciar a estas empresas y presionarlas para que tomen las medidas correctivas que describimos a continuación. Y hoy nos complace informar de un gran triunfo: aparentemente en respuesta a nuestras preguntas, la versión 1.5 de Stable Diffusion ha sido eliminada de Hugging Face. Pero todavía queda mucho por hacer, y es posible que para lograr avances significativos se requiera legislación. El alcance del problema del abuso sexual infantil Los defensores de la seguridad infantil comenzaron a hacer sonar la alarma el año pasado: los investigadores del Observatorio de Internet de Stanford y la organización tecnológica sin fines de lucro Thorn publicaron un informe preocupante en junio de 2023. Descubrieron que las herramientas de generación de imágenes de IA ampliamente disponibles y de «código abierto» ya estaban siendo mal utilizadas por actores maliciosos para crear material de abuso sexual infantil. En algunos casos, los actores maliciosos estaban creando sus propias versiones personalizadas de estos modelos (un proceso conocido como ajuste fino) con material real de abuso sexual infantil para generar imágenes a medida de víctimas específicas. El pasado mes de octubre, un informe de la organización sin fines de lucro británica Internet Watch Foundation (que gestiona una línea directa para denuncias de material de abuso sexual infantil) detallaba la facilidad con la que los actores maliciosos están creando ahora material de abuso sexual infantil fotorrealista generado por IA, a gran escala. Los investigadores incluyeron un estudio de «instantánea» de un foro de CSAM en la dark web, analizando más de 11.000 imágenes generadas por IA publicadas en un período de un mes; de ellas, casi 3.000 fueron juzgadas lo suficientemente graves como para ser clasificadas como criminales. El informe instó a una supervisión regulatoria más fuerte de los modelos de IA generativos. Los modelos de IA se pueden utilizar para crear este material porque han visto ejemplos antes. Los investigadores de Stanford descubrieron en diciembre pasado que uno de los conjuntos de datos más importantes utilizados para entrenar modelos de generación de imágenes incluía miles de piezas de CSAM. Muchos de los generadores de imágenes de IA de código abierto descargables más populares, incluido el popular modelo Stable Diffusion versión 1.5, se entrenaron utilizando estos datos. Esa versión de Stable Diffusion fue creada por Runway, aunque Stability AI pagó por la potencia informática para producir el conjunto de datos y entrenar el modelo, y Stability AI lanzó las versiones posteriores. Runway no respondió a una solicitud de comentarios. Un portavoz de Stability AI enfatizó que la compañía no lanzó ni mantuvo la versión 1.5 de Stable Diffusion, y dice que la compañía ha «implementado salvaguardas sólidas» contra el CSAM en modelos posteriores, incluido el uso de conjuntos de datos filtrados para el entrenamiento. También en diciembre pasado, los investigadores de la firma de análisis de redes sociales Graphika encontraron una proliferación de docenas de servicios de «desnudez», muchos basados en generadores de imágenes de IA de código abierto, probablemente incluido Stable Diffusion. Estos servicios permiten a los usuarios cargar fotos de personas vestidas y producir lo que los expertos denominan imágenes íntimas no consensuales (NCII) de menores y adultos, también conocidas a veces como pornografía deepfake. Estos sitios web se pueden encontrar fácilmente a través de búsquedas de Google, y los usuarios pueden pagar los servicios con tarjetas de crédito en línea. Muchos de estos servicios solo funcionan con mujeres y niñas, y este tipo de herramientas se han utilizado para apuntar a celebridades femeninas como Taylor Swift y políticas como la representante estadounidense Alexandria Ocasio-Cortez. El CSAM generado por IA tiene efectos reales. El ecosistema de seguridad infantil ya está sobrecargado, con millones de archivos de presunto CSAM reportados a las líneas directas anualmente. Cualquier cosa que se sume a ese torrente de contenido, especialmente material de abuso fotorrealista, hace que sea más difícil encontrar a los niños que están activamente en peligro. Para empeorar las cosas, algunos actores maliciosos están utilizando CSAM existente para generar imágenes sintéticas de estos sobrevivientes, una horrible nueva violación de sus derechos. Otros están utilizando las aplicaciones de «desnudez» fácilmente disponibles para crear contenido sexual a partir de imágenes benignas de niños reales, y luego usan ese contenido recién generado en esquemas de extorsión sexual. Una victoria contra el CSAM generado por IA Según la investigación de Stanford del pasado mes de diciembre, es bien sabido en la comunidad de IA que Stable Diffusion 1.5 fue entrenado con material de abuso sexual infantil, al igual que todos los demás modelos entrenados con el conjunto de datos LAION-5B. Estos modelos están siendo mal utilizados activamente por actores maliciosos para hacer CSAM generado por IA. E incluso cuando se utilizan para generar material más benigno, su uso revictimiza inherentemente a los niños cuyas imágenes de abuso se incluyeron en sus datos de entrenamiento. Por eso, preguntamos a las populares plataformas de alojamiento de IA Hugging Face y Civitai por qué alojaban Stable Diffusion 1.5 y modelos derivados, poniéndolos a disposición para su descarga gratuita. Vale la pena señalar que Jeff Allen, un científico de datos del Integrity Institute, descubrió que Stable Diffusion 1.5 se descargó de Hugging Face más de 6 millones de veces en el último mes, lo que lo convierte en el generador de imágenes de IA más popular de la plataforma. Cuando le preguntamos a Hugging Face por qué ha seguido alojando el modelo, la portavoz de la empresa, Brigitte Tousignant, no respondió directamente a la pregunta, sino que afirmó que la empresa no tolera el CSAM en su plataforma, que incorpora una variedad de herramientas de seguridad y que alienta a la comunidad a utilizar el modelo Safe Stable Diffusion que identifica y suprime las imágenes inapropiadas. Luego, ayer, verificamos Hugging Face y descubrimos que Stable Diffusion 1.5 ya no está disponible. Tousignant nos dijo que Hugging Face no lo eliminó y sugirió que nos comunicáramos con Runway, lo cual hicimos, nuevamente, pero aún no hemos recibido una respuesta. Sin duda, es un éxito que este modelo ya no esté disponible para descargar desde Hugging Face. Desafortunadamente, todavía está disponible en Civitai, al igual que cientos de modelos derivados. Cuando nos comunicamos con Civitai, un portavoz nos dijo que no tienen conocimiento de qué datos de entrenamiento usó Stable Diffusion 1.5 y que solo lo eliminarían si hubiera evidencia de mal uso. Las plataformas deberían estar nerviosas por su responsabilidad. La semana pasada se produjo el arresto de Pavel Durov, director ejecutivo de la aplicación de mensajería Telegram, como parte de una investigación relacionada con CSAM y otros delitos. ¿Qué se está haciendo con el CSAM generado por IA? El constante ritmo de informes y noticias inquietantes sobre CSAM generado por IA y NCII no ha disminuido. Si bien algunas empresas están tratando de mejorar la seguridad de sus productos con la ayuda de Tech Coalition, ¿qué progreso hemos visto en el tema más amplio? En abril, Thorn y All Tech Is Human anunciaron una iniciativa para reunir a las principales empresas de tecnología, desarrolladores de IA generativa, plataformas de alojamiento de modelos y más para definir y comprometerse con los principios de seguridad por diseño, que colocan la prevención del abuso sexual infantil en el centro del proceso de desarrollo de productos. Diez empresas (incluidas Amazon, Civitai, Google, Meta, Microsoft, OpenAI y Stability AI) se comprometieron con estos principios, y varias otras se unieron para coescribir un documento relacionado con mitigaciones recomendadas más detalladas. Los principios instan a las empresas a desarrollar, implementar y mantener modelos de IA que aborden de manera proactiva los riesgos de seguridad infantil; a construir sistemas para garantizar que cualquier material de abuso que se produzca se detecte de manera confiable; y a limitar la distribución de los modelos y servicios subyacentes que se utilizan para producir este material de abuso. Este tipo de compromisos voluntarios son un comienzo. Rebecca Portnoff, directora de ciencia de datos de Thorn, dice que la iniciativa busca la rendición de cuentas al exigir a las empresas que emitan informes sobre su progreso en los pasos de mitigación. También está colaborando con instituciones que establecen estándares como IEEE y NIST para integrar sus esfuerzos en estándares nuevos y existentes, abriendo la puerta a auditorías de terceros que «dejarían de lado el sistema de honor», dice Portnoff. Portnoff también señala que Thorn está trabajando con los responsables de las políticas para ayudarlos a concebir una legislación que sea técnicamente factible e impactante. De hecho, muchos expertos dicen que es hora de ir más allá de los compromisos voluntarios. Creemos que actualmente se está llevando a cabo una carrera temeraria hacia el abismo en la industria de la IA. Las empresas luchan tan furiosamente por estar técnicamente a la cabeza que muchas de ellas ignoran las consecuencias éticas y posiblemente incluso legales de sus productos. Si bien algunos gobiernos, incluida la Unión Europea, están avanzando en la regulación de la IA, no han ido lo suficientemente lejos. Si, por ejemplo, las leyes hicieran ilegal proporcionar sistemas de IA que puedan producir material sexualmente degradante, las empresas tecnológicas podrían tomar nota. La realidad es que, si bien algunas empresas cumplirán con los compromisos voluntarios, muchas no lo harán. Y de los que lo hagan, muchos lo harán con demasiada lentitud, ya sea porque no están preparados o porque les cuesta mantener su ventaja competitiva. Mientras tanto, los actores maliciosos gravitarán hacia esos servicios y causarán estragos. Ese resultado es inaceptable. Lo que las empresas tecnológicas deberían hacer con el CSAM generado por IA Los expertos vieron venir este problema a una milla de distancia, y los defensores de la seguridad infantil han recomendado estrategias de sentido común para combatirlo. Si perdemos esta oportunidad de hacer algo para solucionar la situación, todos asumiremos la responsabilidad. Como mínimo, todas las empresas, incluidas las que lanzan modelos de código abierto, deberían estar obligadas legalmente a seguir los compromisos establecidos en los principios de seguridad por diseño de Thorn: detectar, eliminar y denunciar el CSAM de sus conjuntos de datos de entrenamiento antes de entrenar sus modelos de IA generativos. Incorporar marcas de agua robustas y sistemas de procedencia de contenido en sus modelos de IA generativos para que las imágenes generadas puedan vincularse a los modelos que las crearon, como se exigiría en virtud de un proyecto de ley de California que crearía estándares de procedencia de contenido digital para las empresas que hacen negocios en el estado. El proyecto de ley probablemente se presentará para la firma del gobernador Gavin Newson en el mes próximo. Eliminar de sus plataformas cualquier modelo de IA generativa que se sepa que está entrenado en CSAM o que es capaz de producir CSAM. Negarse a volver a alojar estos modelos a menos que hayan sido completamente reconstituidos con el CSAM eliminado. Identificar los modelos que han sido ajustados intencionalmente en CSAM y eliminarlos permanentemente de sus plataformas. Eliminar las aplicaciones «desnudistas» de las tiendas de aplicaciones, bloquear los resultados de búsqueda para estas herramientas y servicios, y trabajar con los proveedores de pagos para bloquear los pagos a sus creadores. No hay ninguna razón por la que la IA generativa necesite ayudar e incitar al horrible abuso de los niños. Pero necesitaremos todas las herramientas a mano (compromisos voluntarios, regulación y presión pública) para cambiar el rumbo y detener la carrera hacia el abismo. Los autores agradecen a Rebecca Portnoff de Thorn, David Thiel del Observatorio de Internet de Stanford, Jeff Allen del Instituto de Integridad, Ravit Dotan de TechBetter y al investigador de políticas tecnológicas Owen Doyle por su ayuda con este artículo. Artículos de su sitio Artículos relacionados en la Web