En julio y septiembre, 15 de las mayores empresas de IA firmaron los compromisos voluntarios de la Casa Blanca para gestionar los riesgos que plantea la IA. Entre esos compromisos estaba la promesa de ser más transparentes: compartir información “en toda la industria y con los gobiernos, la sociedad civil y el mundo académico” e informar públicamente sobre las capacidades y limitaciones de sus sistemas de IA. Todo lo cual suena muy bien en teoría, pero ¿qué significa en la práctica? ¿Qué es exactamente la transparencia cuando se trata de los modelos masivos y poderosos de estas empresas de IA? Gracias a un informe encabezado por el Centro de Investigación sobre Modelos de Cimientos (CRFM) de Stanford, ahora tenemos respuestas a esas preguntas. Los modelos básicos que les interesan son creaciones de propósito general como GPT-4 de OpenAI y PaLM 2 de Google, que se entrenan con una enorme cantidad de datos y pueden adaptarse para muchas aplicaciones diferentes. El Índice de Transparencia de Modelos de la Fundación calificó 10 de los modelos más importantes en 100 métricas diferentes de transparencia. La puntuación total más alta es para Meta’s Llama 2, con 54 sobre 100. No les fue tan bien. La puntuación total más alta es para Meta’s Llama 2, con 54 sobre 100. En la escuela, eso se consideraría una calificación reprobatoria. «Ningún desarrollador importante de modelos básicos está cerca de proporcionar una transparencia adecuada», escribieron los investigadores en una publicación de blog, «lo que revela una falta fundamental de transparencia en la industria de la IA». Rishi Bommasani, candidato a doctorado en el CRFM de Stanford y uno de los líderes del proyecto , afirma que el índice es un esfuerzo por combatir una tendencia preocupante de los últimos años. «A medida que aumenta el impacto, la transparencia de estos modelos y empresas disminuye», afirma. En particular, cuando OpenAI actualizó de GPT-3 a GPT-4, la compañía escribió que había tomado la decisión de retener toda la información sobre «arquitectura (incluido el tamaño del modelo), hardware, computación de entrenamiento, construcción de conjuntos de datos, [and] método de entrenamiento”. Las 100 métricas de transparencia (enumeradas en su totalidad en la publicación del blog) incluyen factores ascendentes relacionados con el entrenamiento, información sobre las propiedades y la función del modelo, y factores descendentes relacionados con la distribución y el uso del modelo. «No es suficiente, como han pedido muchos gobiernos, que una organización sea transparente cuando publica el modelo», dice Kevin Klyman, asistente de investigación en el CRFM de Stanford y coautor del informe. «También tiene que ser transparente sobre los recursos que se destinan a ese modelo, las evaluaciones de las capacidades de ese modelo y lo que sucede después del lanzamiento». Para calificar los modelos según los 100 indicadores, los investigadores buscaron en los datos disponibles públicamente. , dando a los modelos un 1 o 0 en cada indicador según umbrales predeterminados. Luego hicieron un seguimiento con las 10 empresas para ver si querían impugnar alguna de las puntuaciones. “En algunos casos, se nos pasó por alto alguna información”, dice Bommasani. Spectrum se puso en contacto con representantes de una variedad de empresas que aparecen en este índice; Ninguno de ellos había respondido a las solicitudes de comentarios al cierre de nuestra fecha límite. “El trabajo en IA es un tema habitualmente opaco. Y aquí es muy opaco, incluso más allá de las normas que hemos visto en otras áreas”.—Rishi Bommasani, Stanford La procedencia de los datos de entrenamiento para los modelos básicos se ha convertido en un tema candente, con varias demandas que alegan que las empresas de IA incluyeron ilegalmente material protegido por derechos de autor de los autores. en sus conjuntos de datos de entrenamiento. Y tal vez no sea sorprendente que el índice de transparencia mostrara que la mayoría de las empresas no han sido comunicativas con respecto a sus datos. El modelo Bloomz del desarrollador Hugging Face obtuvo la puntuación más alta en esta categoría, con un 60 por ciento; Ninguno de los otros modelos obtuvo una puntuación superior al 40 por ciento y varios obtuvieron un cero. Un mapa de calor muestra cómo les fue a los 10 modelos en categorías que van desde datos hasta impacto. Centro Stanford para la Investigación sobre Modelos de Fundación Las empresas también guardaron silencio sobre el tema del trabajo, lo cual es relevante porque los modelos requieren trabajadores humanos para perfeccionar sus modelos. Por ejemplo, OpenAI utiliza un proceso llamado aprendizaje reforzado con retroalimentación humana para enseñar a modelos como GPT-4 qué respuestas son más apropiadas y aceptables para los humanos. Pero la mayoría de los desarrolladores no hacen pública la información sobre quiénes son esos trabajadores humanos y qué salarios les pagan, y existe la preocupación de que esta mano de obra se esté subcontratando a trabajadores con salarios bajos en lugares como Kenia. «El trabajo en IA es un tema habitualmente opaco», dice Bommasani, «y aquí es muy opaco, incluso más allá de las normas que hemos visto en otras áreas». Hugging Face es uno de los tres desarrolladores del índice que los investigadores de Stanford consideraron » open”, lo que significa que los pesos de los modelos se pueden descargar ampliamente. Los tres modelos abiertos (Llama 2 de Meta, Hugging Face’s Bloomz y Stable Diffusion de Stability AI) lideran actualmente el camino en transparencia, con una puntuación mayor o igual que el mejor modelo cerrado. Si bien esos modelos abiertos obtuvieron puntos de transparencia, no todos creen que sean los actores más responsables en el campo. Actualmente existe una gran controversia sobre si modelos tan poderosos deberían ser de código abierto y, por lo tanto, potencialmente disponibles para los malos actores; Hace apenas unas semanas, los manifestantes llegaron a la oficina de Meta en San Francisco para denunciar la “proliferación irreversible” de tecnología potencialmente insegura. Bommasani y Klyman dicen que el grupo de Stanford está comprometido a mantenerse al día con el índice y planean actualizarlo al menos una vez al año. El equipo espera que los responsables políticos de todo el mundo recurran al índice a la hora de elaborar legislación sobre la IA, ya que en muchos países se están realizando esfuerzos regulatorios. Si las empresas obtienen mejores resultados en materia de transparencia en las 100 áreas diferentes destacadas por el índice, dicen, los legisladores tendrán una mejor idea de qué áreas requieren intervención. «Si hay una opacidad generalizada en los impactos laborales y posteriores», dice Bommasani, «esto les da a los legisladores cierta claridad de que tal vez deberían considerar estas cosas». Es importante recordar que incluso si un modelo hubiera obtenido una puntuación alta de transparencia en el índice actual, Eso no significaría necesariamente que fuera un modelo de virtud de la IA. Si una empresa revelara que un modelo fue entrenado con material protegido por derechos de autor y refinado por trabajadores a los que se les paga menos del salario mínimo, aún ganaría puntos por la transparencia sobre los datos y la mano de obra. «Estamos tratando de sacar a la luz los hechos» como primer paso, dice Bommasani. «Una vez que haya transparencia, habrá mucho más trabajo por hacer».
Source link
