Las herramientas de imágenes de inteligencia artificial tienden a generar clichés inquietantes: las mujeres asiáticas son hipersexuales. Los africanos son primitivos. Los europeos son mundanos. Los líderes son hombres. Los prisioneros son negros. Estos estereotipos no reflejan el mundo real; provienen de los datos que entrenan la tecnología. Tomados de Internet, estos tesoros pueden ser tóxicos: están plagados de pornografía, misoginia, violencia e intolerancia. Cada imagen de esta historia muestra algo que no existe en el mundo físico y se generó usando Stable Diffusion, una tecnología de conversión de texto a imagen. modelo de inteligencia artificial. Stability AI, fabricante del popular generador de imágenes Stable Diffusion XL, dijo al Washington Post que había realizado una inversión significativa para reducir el sesgo en su último modelo, que fue lanzado en julio. Pero estos esfuerzos no le han impedido recurrir a tropos caricaturescos. El Post descubrió que, a pesar de las mejoras, la herramienta amplifica los estereotipos occidentales obsoletos, transfiriendo clichés a veces extraños a objetos básicos, como juguetes o casas. «Lo que la gente llama más la atención», dijo Pratyusha Kalluri, investigadora de inteligencia artificial en la Universidad de Stanford. Christoph Schuhmann, cofundador de LAION, una organización sin fines de lucro detrás de los datos de Stable Diffusion, sostiene que los generadores de imágenes reflejan naturalmente el mundo de los blancos porque la organización sin fines de lucro que proporciona datos a muchas empresas, incluida LAION, no se centra en China y la India, la mayor población de usuarios de la web.[Inside the secret list of websites that make AI like ChatGPT sound smart]Cuando le pedimos a Stable Diffusion XL que produjera una casa en varios países, nos devolvió conceptos cliché para cada ubicación: casas clásicas con techo curvo para China, en lugar de los apartamentos de gran altura de Shanghai; casas americanas idealizadas con césped cuidado y amplios porches; Estructuras de arcilla polvorientas en caminos de tierra en la India, hogar de más de 160 multimillonarios, así como de Mumbai, la decimoquinta ciudad más rica del mundo. Imágenes generadas por IA: Una foto de una casa en…“Esto le dará el estereotipo promedio de lo que piensa una persona promedio de América del Norte o Europa”, dijo Schuhmann. «No se necesita un título en ciencias de datos para inferir esto». Stable Diffusion no está solo en esta orientación. En documentos publicados recientemente, OpenAI dijo que su último generador de imágenes, DALL-E 3, muestra «una tendencia hacia un punto de vista occidental» con imágenes que «representan desproporcionadamente a individuos que parecen blancos, femeninos y jóvenes». difundidos por la web, podrían dar nueva vida a estereotipos obsoletos y ofensivos, codificando ideales abandonados en torno al tipo de cuerpo, el género y la raza en el futuro de la creación de imágenes. Predecir el próximo píxel Al igual que ChatGPT, las herramientas de imágenes de IA aprenden sobre el mundo a través de cantidades gigantescas. de datos de entrenamiento. En lugar de miles de millones de palabras, reciben miles de millones de pares de imágenes y sus títulos, también extraídos de la web. Las empresas tecnológicas se han vuelto cada vez más reservadas sobre el contenido de estos conjuntos de datos, en parte porque el texto y las imágenes incluidas a menudo contienen datos inexactos y protegidos por derechos de autor. o incluso material obsceno. Por el contrario, Stable Diffusion y LAION son proyectos de código abierto que permiten a personas externas inspeccionar los detalles del modelo. El director ejecutivo de Stability AI, Emad Mostaque, dijo que su empresa considera que la transparencia es clave para examinar y eliminar los sesgos. «Stability AI cree fundamentalmente que los modelos de código abierto son necesarios para extender los más altos estándares en seguridad, equidad y representación», dijo en un comunicado. Las imágenes en LAION, como muchos conjuntos de datos, fueron seleccionadas porque contienen un código llamado «alt- text», que ayuda al software a describir imágenes para personas ciegas. Aunque el texto alternativo es más barato y más fácil que agregar títulos, es notoriamente poco confiable: está lleno de descripciones ofensivas y términos no relacionados destinados a ayudar a que las imágenes tengan una clasificación alta en las búsquedas.[ AI can now create images out of thin air. See how it works. ]Los generadores de imágenes generan imágenes basándose en el píxel más probable, estableciendo conexiones entre las palabras de los títulos y las imágenes asociadas con ellas. Estos emparejamientos probabilísticos ayudan a explicar algunas de las extrañas mezclas producidas por Stable Diffusion XL, como los juguetes iraquíes que parecen camiones cisterna y tropas estadounidenses. Eso no es un estereotipo: refleja la inextricable asociación de Estados Unidos entre Irak y la guerra. No tiene sesgos. A pesar de las mejoras en SD XL, The Post pudo generar tropos sobre raza, clase, género, riqueza, inteligencia, religión y otras culturas al solicitar representaciones de rutina. actividades, rasgos de personalidad comunes o el nombre de otro país. En muchos casos, las disparidades raciales representadas en estas imágenes son más extremas que en el mundo real. Por ejemplo, en 2020, el 63 por ciento de los beneficiarios de cupones de alimentos eran blancos y el 27 por ciento eran negros, según los últimos datos de la encuesta de la Oficina del Censo. de Ingresos y Participación en Programas. Sin embargo, cuando solicitamos a la tecnología que generara una fotografía de una persona que recibía servicios sociales, solo generó personas no blancas y principalmente personas de piel más oscura. Mientras tanto, los resultados para una “persona productiva” fueron uniformemente masculinos, mayoritariamente blancos y vestidos con trajes para trabajos corporativos. Una persona en servicios sociales El otoño pasado, Kalluri y sus colegas también descubrieron que las herramientas recurrían a estereotipos. Cuando se le pidió que proporcionara una imagen de “una persona atractiva”, la herramienta generó personas delgadas, de piel y ojos claros, con rasgos europeos. Una solicitud de “una familia feliz” produjo imágenes de parejas heterosexuales blancas, en su mayoría sonrientes, con niños posando en jardines bien cuidados. Kalluri y los demás también encontraron que las herramientas distorsionaban las estadísticas del mundo real. Los empleos con ingresos más altos, como el de “desarrollador de software”, produjeron representaciones que sesgaban más a los blancos y a los hombres de lo que sugerirían los datos de la Oficina de Estadísticas Laborales. Personas de apariencia blanca también aparecen en la mayoría de las imágenes de “chef”, un puesto de preparación de alimentos más prestigioso, mientras que personas no blancas aparecen en la mayoría de las imágenes de “cocineros”, aunque las estadísticas de la Oficina del Trabajo muestran que un mayor porcentaje de “cocineros” Las empresas conocen desde hace tiempo los problemas con los datos detrás de esta tecnología. ImageNet, un conjunto fundamental de capacitación de 2009 con 14 millones de imágenes, estuvo en uso durante más de una década antes de que los investigadores encontraran contenido perturbador, incluidas imágenes sexuales no consentidas, en las que a veces las mujeres eran fácilmente identificables. Algunas imágenes se clasificaron en categorías etiquetadas con insultos como «Reina del armario», «Fracaso», «mulato», «no persona», «pervertido» y «Esquizofrénico». Los autores de ImageNet eliminaron la mayoría de las categorías, pero muchos conjuntos de datos contemporáneos se construyen de la misma manera, utilizando imágenes obtenidas sin consentimiento y categorizando a las personas como objetos. reglas de codificación para abordar problemas que le valieron a la empresa malas relaciones públicas. Por ejemplo, Stable Diffusion atrajo atención negativa cuando las solicitudes de una “latina” produjeron imágenes de mujeres en poses sugerentes con poca o ninguna ropa. Un sistema más reciente (versión 2.1) generó imágenes más inocuas. ¿A qué se debe la diferencia? Un análisis del Post encontró que los datos de capacitación para la primera versión contenían mucha más pornografía. De las imágenes de capacitación con el título «Latina», el 20 por ciento de los títulos o URL también incluían un término pornográfico. Más del 30 por ciento fueron marcados como casi con certeza “inseguros” por un detector LAION por contenido no seguro para el trabajo. En modelos posteriores de Stable Diffusion, los datos de entrenamiento excluyeron las imágenes marcadas como posiblemente «inseguras», produciendo imágenes que parecen marcadamente menos sexuales. Los hallazgos del Post siguen investigaciones anteriores que encontraron imágenes de abuso sexual y violación en el conjunto de datos utilizado para Stable Diffusion 1. , así como imágenes que sexualizaban a las mujeres negras y fetichizaban a las mujeres asiáticas. Además de eliminar imágenes «inseguras», Ben Brooks, jefe de políticas públicas de Stability AI, dijo que la compañía también tuvo cuidado de bloquear material de abuso sexual infantil (CSAM) y otras imágenes de alto riesgo para SD2. Las cosas «malas» de un conjunto de datos no son una solución fácil para el sesgo, dijo Sasha Luccioni, científica investigadora de Hugging Face, un repositorio de código abierto para IA y uno de los patrocinadores corporativos de LAION. El filtrado de contenido problemático utilizando palabras clave en inglés, por ejemplo, puede eliminar una gran cantidad de pornografía y CSAM, pero también puede generar más contenido en general del norte global, donde las plataformas tienen un historial más largo de generar contenido de alta calidad y restricciones más estrictas. sobre la publicación de pornografía, dijo. “Todas estas pequeñas decisiones en realidad pueden empeorar el sesgo cultural”, dijo Luccioni. Incluso las indicaciones para generar fotografías de actividades cotidianas se convirtieron en tropos. Stable Diffusion XL utilizó de forma predeterminada atletas masculinos en su mayoría de piel más oscura cuando solicitamos al sistema que produjera imágenes para «fútbol», mientras que solo mostraba a mujeres cuando se le pedía que mostrara a personas en el acto de «limpieza». Muchas de las mujeres sonreían y completaban felices sus tareas domésticas femeninas. Imágenes generadas por IA: Un retrato fotográfico de una persona… Estabilidad La IA sostiene que cada país debería tener su propio generador de imágenes nacional, uno que refleje los valores nacionales, con conjuntos de datos. proporcionado por el gobierno y las instituciones públicas. Reflejar la diversidad de la web se ha convertido recientemente en “un área de interés activo” para Common Crawl, una organización sin fines de lucro de 16 años que durante mucho tiempo ha proporcionado texto extraído de la web para Google, LAION y muchas otras empresas de tecnología, dijo a The Post el director ejecutivo Rich Skrenta. Su rastreador extrae contenido basándose en la clasificación interna de la organización de lo que es central para Internet, pero no recibe instrucciones de centrarse en un idioma o país específico.“Si hay algún tipo de sesgo en el rastreo y si no investiga tan profundamente, digamos, sitios web indios”, eso es algo que a Common Crawl le gustaría medir y corregir, dijo. La interminable tarea de erradicar el sesgo El campo de la IA está dividido sobre cómo abordar el sesgo. Para Kalluri, mitigar el sesgo en las imágenes es fundamentalmente diferente que en el texto. . Cualquier petición para crear una imagen realista de una persona tiene que tomar decisiones sobre la edad, el cuerpo, la raza, el cabello, el origen y otras características visuales, dijo. Pocas de estas complicaciones se prestan a soluciones computacionales, dijo Kalluri. Kalluri cree que es importante que cualquiera que interactúe con la tecnología comprenda cómo funciona. «Son sólo modelos predictivos», dijo, retratando cosas basadas en una instantánea de Internet en su conjunto de datos.[See why AI like ChatGPT has gotten so good, so fast]Ni siquiera el uso de indicaciones detalladas mitigó este sesgo. Cuando pedimos una fotografía de una persona rica en diferentes países, Stable Diffusion XL todavía produjo una mezcolanza de estereotipos: hombres africanos con abrigos occidentales parados frente a chozas con techo de paja, hombres de Medio Oriente posando frente a antiguas mezquitas, mientras que hombres europeos con trajes ajustados deambulaban por pintorescas calles adoquinadas. Imágenes generadas por IA rápido: una foto de una persona rica en… Abeba Birhane, asesor principal para la responsabilidad de la IA en la Fundación Mozilla, sostiene que las herramientas se pueden mejorar si las empresas trabajan duro para mejorar los datos, un resultado que ella considera poco probable. Mientras tanto, el impacto de estos estereotipos recaerá con mayor fuerza en las mismas comunidades perjudicadas durante la era de las redes sociales, afirmó, y añadió: “Las personas marginadas de la sociedad son continuamente excluidas”. Acerca de esta historia, el Washington Post generó imágenes utilizando el API ClipDrop para acceder a Stable Diffusion XL1.0. Cada mensaje creó de siete a 10 imágenes que se presentan aquí con la apariencia y el orden exactos del resultado del modelo. Las imágenes que utilizaban modelos más antiguos se basaban en Stable Diffusion v1-5 a través de Stability API. Jeremy B. Merrill contribuyó a este informe. Edición de Alexis Sobel Fitts, Kate Rabinowitz y Karly Domb Sadof.

Source link