Etiqueta: Seguridad nacional

En febrero, OpenAI anunció la llegada de Sora, una impresionante herramienta de “texto a video”. Simplemente ingrese un mensaje y Sora generará un video realista en segundos. Pero no estuvo disponible de inmediato para el público. Parte del retraso se debe a que, según se informa, OpenAI tiene un conjunto de expertos llamado equipo rojo que, según la compañía, probará el modelo para comprender su capacidad para videos deepfake, información errónea, prejuicios y contenido de odio. útil para aplicaciones de ciberseguridad, es una herramienta militar que nunca estuvo pensada para una adopción generalizada por parte del sector privado. “Si se hace bien, el equipo rojo puede identificar y ayudar a abordar las vulnerabilidades en la IA”, dice Brian Chen, director de políticas del grupo de expertos Data & Society, con sede en Nueva York. «Lo que no hace es abordar la brecha estructural en la regulación de la tecnología en beneficio del interés público». ¿Qué es el equipo rojo? La práctica del equipo rojo tiene sus primeros orígenes en la estratagema militar de Sun Tzu en El arte de la guerra: «Si sabes Al enemigo y conócete a ti mismo, no debes temer el resultado de cien batallas”. El propósito de los ejercicios del equipo rojo es desempeñar el papel del adversario (el equipo rojo) y encontrar vulnerabilidades ocultas en las defensas del equipo azul (los defensores), quienes luego piensan creativamente sobre cómo arreglar las brechas. La práctica se originó en los círculos militares y gubernamentales de Estados Unidos durante la década de 1960 como una forma de anticipar las amenazas de la Unión Soviética. Hoy en día, se la conoce principalmente como una técnica de ciberseguridad confiable que se utiliza para ayudar a proteger redes informáticas, software y datos propietarios. Esa es la idea, al menos. Y en ciberseguridad, donde el papel de los piratas informáticos y los defensores está claro, los equipos rojos tienen un historial sustancial. Pero no está claro cómo se podrían distribuir los equipos azul y rojo para la IA y qué motiva a los participantes en todo este ejercicio a actuar en última instancia para, idealmente, promover el bien público. En un escenario en el que los equipos rojos se utilizan para aparentemente ayudar a salvaguardar la sociedad De los posibles daños de la IA, ¿quién juega en los equipos azul y rojo? ¿El equipo azul son los desarrolladores y el equipo rojo los hackers? ¿O el equipo rojo es el modelo de IA? ¿Y quién supervisa el equipo azul? Micah Zenko, autor de Red Team: How to Succeed by Thinking Like the Enemy, dice que el concepto de equipo rojo no siempre está bien definido y sus aplicaciones pueden variar. Dice que los miembros del equipo rojo de IA deberían “proceder con precaución: ser claros en cuanto al razonamiento, el alcance, la intención y los resultados del aprendizaje. Asegúrese de poner a prueba el pensamiento y desafiar las suposiciones”. Zenko también revela una evidente discrepancia entre los equipos rojos y el ritmo de avance de la IA. El objetivo, afirma, es identificar las vulnerabilidades existentes y luego solucionarlas. «Si el sistema que se está probando no es lo suficientemente estático», dice, «entonces simplemente estamos persiguiendo el pasado». ¿Por qué el equipo rojo ahora forma parte de la política pública de IA? El 30 de octubre del año pasado, el presidente Joe Biden emitió una Orden Ejecutiva 14110 que instruye al Instituto Nacional de Estándares y Tecnología (NIST) de EE. UU. a desarrollar pautas con base científica para respaldar el despliegue de sistemas seguros y confiables, incluido el equipo rojo de IA. Tres meses después, el NIST concluyó los primeros pasos hacia implementar sus nuevas responsabilidades (equipo rojo y otras). Recopiló comentarios públicos sobre el registro federal, anunció el liderazgo inaugural del Instituto de Seguridad de Inteligencia Artificial de EE. UU. e inició un consorcio para evaluar los sistemas de inteligencia artificial y mejorar su confiabilidad y seguridad. Sin embargo, esta no es la primera vez que la administración Biden se vuelve al equipo rojo de IA. La popularidad de la técnica en los círculos de la administración Biden comenzó a principios de año. Según Politico, funcionarios de la Casa Blanca se reunieron con los organizadores de la conferencia de hackers DEFCON en marzo y acordaron en ese momento apoyar un ejercicio público de formación de equipos rojos. En mayo, los funcionarios de la administración anunciaron su apoyo para intentar un ejercicio de equipo rojo de IA en la próxima conferencia DEFCON 31 en Las Vegas. Luego, como estaba previsto, en agosto, miles de personas acudieron al Caesar’s Forum en Las Vegas para probar la capacidad de los modelos de IA para causar daño. Al cierre de esta edición, los resultados de este ejercicio aún no se han hecho públicos. ¿Qué puede hacer el equipo rojo de IA? Como cualquier software informático, los modelos de IA comparten las mismas cibervulnerabilidades: pueden ser pirateados por actores nefastos para lograr una variedad de objetivos, incluido el robo de datos o el sabotaje. Como tal, el equipo rojo puede ofrecer un enfoque para proteger los modelos de IA de amenazas externas. Por ejemplo, Google utiliza equipos rojos para proteger sus modelos de IA de amenazas como ataques rápidos, envenenamiento de datos y puertas traseras. Una vez que se identifican dichas vulnerabilidades, se pueden cerrar las brechas en el software. Para abordar los riesgos potenciales de la IA, los desarrolladores de tecnología han creado redes de expertos externos para ayudarlos a evaluar la seguridad de sus modelos. Sin embargo, tienden a contratar contratistas y exigirles que firmen acuerdos de confidencialidad. Los ejercicios todavía se llevan a cabo a puerta cerrada y los resultados se comunican al público en términos generales. Especialmente en el caso de la IA, los expertos del grupo de expertos en tecnología Data & Society afirman que el red teaming no debería tener lugar internamente dentro de una empresa. Zenko sugiere que “no sólo es necesaria la validación de terceros independientes, sino que las empresas deberían crear equipos multifuncionales y multidisciplinarios, no sólo ingenieros y piratas informáticos”. Dan Hendrycks, director ejecutivo y de investigación del Centro de IA con sede en San Francisco La seguridad, afirma el Red Teaming, tampoco debería tratarse como una solución llave en mano. «La técnica es ciertamente útil», afirma. «Pero representa sólo una línea de defensa contra los riesgos potenciales de la IA, y es esencial un ecosistema más amplio de políticas y métodos». El nuevo Instituto de Seguridad de IA del NIST ahora tiene la oportunidad de cambiar la forma en que se utiliza el equipo rojo en la IA. Según se informa, el consorcio del Instituto, formado por más de 200 organizaciones, ya ha comenzado a desarrollar estándares para los equipos rojos de IA. Los desarrolladores de tecnología también han comenzado a explorar las mejores prácticas por su cuenta. Por ejemplo, Anthropic, Google, Microsoft y OpenAI han establecido el Frontier Model Forum (FMF) para desarrollar estándares para la seguridad de la IA y compartir las mejores prácticas en toda la industria. Chris Meserole, director ejecutivo de FMF, dice que «la formación de equipos rojos puede ser una gran punto de partida para evaluar los riesgos potenciales que un modelo podría introducir”. Sin embargo, añade, los modelos de IA que están a la vanguardia del desarrollo tecnológico exigen una variedad de estrategias, no sólo una herramienta reciclada de la ciberseguridad y, en última instancia, de la Guerra Fría. El equipo rojo, dice Meserole, está lejos de ser «una panacea, por lo que hemos querido apoyar el desarrollo de otras técnicas de evaluación, evaluación y mitigación para garantizar la seguridad de los modelos de IA de vanguardia».

Source link