El gobierno del Reino Unido acordó formalmente trabajar con Estados Unidos en el desarrollo de pruebas para modelos avanzados de inteligencia artificial. El 1 de abril de 2024, la Secretaria de Tecnología del Reino Unido, Michelle Donelan, y la Secretaria de Comercio de los Estados Unidos, Gina Raimondo, firmaron un Memorando de Entendimiento, que es un acuerdo no vinculante legalmente (Figura A). Figura A La secretaria de Comercio de Estados Unidos, Gina Raimondo (izquierda), y la secretaria de Tecnología del Reino Unido, Michelle Donelan (derecha). Fuente: Gobierno del Reino Unido. Imagen: Gobierno del Reino Unido Ambos países ahora “alinearán sus enfoques científicos” y trabajarán juntos para “acelerar e iterar rápidamente conjuntos sólidos de evaluaciones para modelos, sistemas y agentes de IA”. Esta medida se está tomando para mantener los compromisos establecidos en la primera Cumbre mundial sobre seguridad de la IA en noviembre pasado, donde gobiernos de todo el mundo aceptaron su papel en las pruebas de seguridad de la próxima generación de modelos de IA. ¿Qué iniciativas de IA han acordado el Reino Unido y Estados Unidos? Con el MoU, el Reino Unido y los EE. UU. acordaron cómo construirán un enfoque común para las pruebas de seguridad de la IA y compartirán sus desarrollos entre sí. Específicamente, esto implicará: Desarrollar un proceso compartido para evaluar la seguridad de los modelos de IA. Realizar al menos un ejercicio de prueba conjunto sobre un modelo de acceso público. Colaborar en la investigación técnica de seguridad de la IA, tanto para avanzar en el conocimiento colectivo de los modelos de IA como para garantizar que las nuevas políticas estén alineadas. Intercambio de personal entre respectivos institutos. Compartir información sobre todas las actividades realizadas en los respectivos institutos. Trabajar con otros gobiernos en el desarrollo de estándares de IA, incluida la seguridad. «Gracias a nuestra colaboración, nuestros institutos obtendrán una mejor comprensión de los sistemas de inteligencia artificial, realizarán evaluaciones más sólidas y emitirán directrices más rigurosas», dijo el secretario Raimondo en un comunicado. VER: Aprenda a utilizar la IA para su negocio (Academia TechRepublic) El MoU se relaciona principalmente con el avance de los planes elaborados por los Institutos de Seguridad de IA en el Reino Unido y EE. UU. Las instalaciones de investigación del Reino Unido se lanzaron en la Cumbre de Seguridad de IA con los tres objetivos principales. de evaluar los sistemas de IA existentes, realizar investigaciones fundamentales sobre la seguridad de la IA y compartir información con otros actores nacionales e internacionales. Empresas como OpenAI, Meta y Microsoft han acordado que el AISI del Reino Unido revise de forma independiente sus últimos modelos de IA generativa. De manera similar, el AISI de EE. UU., establecido formalmente por el NIST en febrero de 2024, fue creado para trabajar en las acciones prioritarias descritas en la Orden Ejecutiva de AI emitida en octubre de 2023; Estas acciones incluyen el desarrollo de estándares para la seguridad de los sistemas de IA. El AISI de EE. UU. cuenta con el apoyo de un consorcio del AI Safety Institute, cuyos miembros son Meta, OpenAI, NVIDIA, Google, Amazon y Microsoft. ¿Conducirá esto a la regulación de las empresas de IA? Si bien ni el AISI del Reino Unido ni el de los EE. UU. son un organismo regulador, es probable que los resultados de su investigación combinada sirvan de base para futuros cambios de políticas. Según el gobierno del Reino Unido, su AISI «proporcionará conocimientos fundamentales para nuestro régimen de gobernanza», mientras que la instalación estadounidense «desarrollará directrices técnicas que serán utilizadas por los reguladores». Podría decirse que la Unión Europea todavía está un paso por delante, ya que su histórica Ley de IA se convirtió en ley el 13 de marzo de 2024. La legislación describe medidas diseñadas para garantizar que la IA se utilice de forma segura y ética, entre otras normas relativas a la IA para el reconocimiento facial y la transparencia. . VER: La mayoría de los profesionales de la ciberseguridad esperan que la IA afecte sus trabajos La mayoría de los grandes actores tecnológicos, incluidos OpenAI, Google, Microsoft y Anthropic, tienen su sede en EE. UU., donde actualmente no existen regulaciones estrictas que puedan restringir sus actividades de IA. La EO de octubre proporciona orientación sobre el uso y la regulación de la IA, y se han tomado medidas positivas desde su firma; sin embargo, esta legislación no es ley. El Marco de Gestión de Riesgos de IA finalizado por el NIST en enero de 2023 también es voluntario. De hecho, estas grandes empresas tecnológicas son en su mayoría responsables de regularse a sí mismas y el año pasado lanzaron el Foro Modelo Frontier para establecer sus propias “barandillas” para mitigar el riesgo de la IA. ¿Qué piensan la IA y los expertos legales sobre las pruebas de seguridad? La regulación de la IA debería ser una prioridad La formación del AISI del Reino Unido no fue una forma universalmente popular de controlar la IA en el país. En febrero, el director ejecutivo de Faculty AI, una empresa involucrada con el instituto, dijo que desarrollar estándares sólidos puede ser un uso más prudente de los recursos gubernamentales en lugar de intentar examinar cada modelo de IA. «Creo que es importante que establezca estándares para el resto del mundo, en lugar de intentar hacerlo todo por sí mismo», dijo Marc Warner a The Guardian. Más cobertura de IA de lectura obligada Los expertos en derecho tecnológico tienen un punto de vista similar cuando se trata del MoU de esta semana. «Idealmente, los esfuerzos de los países se gastarían mucho mejor en desarrollar regulaciones estrictas en lugar de investigación», dijo a TechRepublic en un correo electrónico Aron Solomon, analista legal y director de estrategia de la agencia de marketing legal Amplify. “Pero el problema es este: pocos legisladores (yo diría, especialmente en el Congreso de Estados Unidos) tienen un conocimiento tan profundo de la IA como para regularla. Solomon añadió: “Deberíamos salir en lugar de entrar en un período de estudio profundo necesario, en el que los legisladores realmente entiendan colectivamente cómo funciona la IA y cómo se utilizará en el futuro. Pero, como lo puso de relieve la reciente debacle estadounidense en la que los legisladores intentan prohibir TikTok, ellos, como grupo, no entienden la tecnología, por lo que no están bien posicionados para regularla de manera inteligente. “Esto nos deja en la situación difícil en la que nos encontramos hoy. La IA está evolucionando mucho más rápido de lo que los reguladores pueden regular. Pero aplazar la regulación en favor de cualquier otra cosa en este momento es retrasar lo inevitable”. De hecho, dado que las capacidades de los modelos de IA cambian y se expanden constantemente, las pruebas de seguridad realizadas por los dos institutos deberán hacer lo mismo. «Algunos malos actores pueden intentar eludir las pruebas o aplicar incorrectamente las capacidades de IA de doble uso», dijo a TechRepublic en un correo electrónico Christoph Cemper, director ejecutivo de la plataforma de gestión rápida AIPRM. El doble uso se refiere a tecnologías que pueden utilizarse tanto con fines pacíficos como hostiles. Cemper dijo: “Si bien las pruebas pueden señalar problemas de seguridad técnica, no reemplazan la necesidad de directrices sobre cuestiones éticas, políticas y de gobernanza… Idealmente, los dos gobiernos considerarán las pruebas como la fase inicial de un proceso colaborativo continuo”. VER: La IA generativa puede aumentar la amenaza global de ransomware, según un estudio del Centro Nacional de Seguridad Cibernética Se necesita investigación para una regulación eficaz de la IA Si bien las directrices voluntarias pueden no resultar suficientes para incitar un cambio real en las actividades de los gigantes tecnológicos, una legislación de línea dura podría sofocar Según el Dr. Kjell Carlsson, el progreso en IA si no se considera adecuadamente. El ex analista de ML/AI y actual jefe de estrategia de Domino Data Lab dijo a TechRepublic en un correo electrónico: “Hoy en día, hay áreas relacionadas con la IA donde el daño es una amenaza real y creciente. Se trata de áreas como el fraude y el cibercrimen, donde normalmente existe regulación pero es ineficaz. “Desafortunadamente, pocas de las regulaciones de IA propuestas, como la Ley de IA de la UE, están diseñadas para abordar eficazmente estas amenazas, ya que se centran principalmente en ofertas comerciales de IA que los delincuentes no utilizan. Como tal, muchos de estos esfuerzos regulatorios dañarán la innovación y aumentarán los costos, al tiempo que harán poco para mejorar la seguridad real”. Por lo tanto, muchos expertos piensan que priorizar la investigación y la colaboración es más eficaz que apresurarse con las regulaciones en el Reino Unido y los EE. UU. El Dr. Carlsson dijo: “La regulación funciona cuando se trata de prevenir daños establecidos en casos de uso conocidos. Hoy en día, sin embargo, la mayoría de los casos de uso de la IA aún no se han descubierto y casi todo el daño es hipotético. Por el contrario, existe una increíble necesidad de investigar cómo probar, mitigar el riesgo y garantizar la seguridad de los modelos de IA de forma eficaz. «Como tal, el establecimiento y la financiación de estos nuevos Institutos de Seguridad de IA y estos esfuerzos de colaboración internacional son una excelente inversión pública, no sólo para garantizar la seguridad, sino también para fomentar la competitividad de las empresas en los EE.UU. y el Reino Unido».
Etiqueta: seguridad ia
En febrero, OpenAI anunció la llegada de Sora, una impresionante herramienta de “texto a video”. Simplemente ingrese un mensaje y Sora generará un video realista en segundos. Pero no estuvo disponible de inmediato para el público. Parte del retraso se debe a que, según se informa, OpenAI tiene un conjunto de expertos llamado equipo rojo que, según la compañía, probará el modelo para comprender su capacidad para videos deepfake, información errónea, prejuicios y contenido de odio. útil para aplicaciones de ciberseguridad, es una herramienta militar que nunca estuvo pensada para una adopción generalizada por parte del sector privado. “Si se hace bien, el equipo rojo puede identificar y ayudar a abordar las vulnerabilidades en la IA”, dice Brian Chen, director de políticas del grupo de expertos Data & Society, con sede en Nueva York. «Lo que no hace es abordar la brecha estructural en la regulación de la tecnología en beneficio del interés público». ¿Qué es el equipo rojo? La práctica del equipo rojo tiene sus primeros orígenes en la estratagema militar de Sun Tzu en El arte de la guerra: «Si sabes Al enemigo y conócete a ti mismo, no debes temer el resultado de cien batallas”. El propósito de los ejercicios del equipo rojo es desempeñar el papel del adversario (el equipo rojo) y encontrar vulnerabilidades ocultas en las defensas del equipo azul (los defensores), quienes luego piensan creativamente sobre cómo arreglar las brechas. La práctica se originó en los círculos militares y gubernamentales de Estados Unidos durante la década de 1960 como una forma de anticipar las amenazas de la Unión Soviética. Hoy en día, se la conoce principalmente como una técnica de ciberseguridad confiable que se utiliza para ayudar a proteger redes informáticas, software y datos propietarios. Esa es la idea, al menos. Y en ciberseguridad, donde el papel de los piratas informáticos y los defensores está claro, los equipos rojos tienen un historial sustancial. Pero no está claro cómo se podrían distribuir los equipos azul y rojo para la IA y qué motiva a los participantes en todo este ejercicio a actuar en última instancia para, idealmente, promover el bien público. En un escenario en el que los equipos rojos se utilizan para aparentemente ayudar a salvaguardar la sociedad De los posibles daños de la IA, ¿quién juega en los equipos azul y rojo? ¿El equipo azul son los desarrolladores y el equipo rojo los hackers? ¿O el equipo rojo es el modelo de IA? ¿Y quién supervisa el equipo azul? Micah Zenko, autor de Red Team: How to Succeed by Thinking Like the Enemy, dice que el concepto de equipo rojo no siempre está bien definido y sus aplicaciones pueden variar. Dice que los miembros del equipo rojo de IA deberían “proceder con precaución: ser claros en cuanto al razonamiento, el alcance, la intención y los resultados del aprendizaje. Asegúrese de poner a prueba el pensamiento y desafiar las suposiciones”. Zenko también revela una evidente discrepancia entre los equipos rojos y el ritmo de avance de la IA. El objetivo, afirma, es identificar las vulnerabilidades existentes y luego solucionarlas. «Si el sistema que se está probando no es lo suficientemente estático», dice, «entonces simplemente estamos persiguiendo el pasado». ¿Por qué el equipo rojo ahora forma parte de la política pública de IA? El 30 de octubre del año pasado, el presidente Joe Biden emitió una Orden Ejecutiva 14110 que instruye al Instituto Nacional de Estándares y Tecnología (NIST) de EE. UU. a desarrollar pautas con base científica para respaldar el despliegue de sistemas seguros y confiables, incluido el equipo rojo de IA. Tres meses después, el NIST concluyó los primeros pasos hacia implementar sus nuevas responsabilidades (equipo rojo y otras). Recopiló comentarios públicos sobre el registro federal, anunció el liderazgo inaugural del Instituto de Seguridad de Inteligencia Artificial de EE. UU. e inició un consorcio para evaluar los sistemas de inteligencia artificial y mejorar su confiabilidad y seguridad. Sin embargo, esta no es la primera vez que la administración Biden se vuelve al equipo rojo de IA. La popularidad de la técnica en los círculos de la administración Biden comenzó a principios de año. Según Politico, funcionarios de la Casa Blanca se reunieron con los organizadores de la conferencia de hackers DEFCON en marzo y acordaron en ese momento apoyar un ejercicio público de formación de equipos rojos. En mayo, los funcionarios de la administración anunciaron su apoyo para intentar un ejercicio de equipo rojo de IA en la próxima conferencia DEFCON 31 en Las Vegas. Luego, como estaba previsto, en agosto, miles de personas acudieron al Caesar’s Forum en Las Vegas para probar la capacidad de los modelos de IA para causar daño. Al cierre de esta edición, los resultados de este ejercicio aún no se han hecho públicos. ¿Qué puede hacer el equipo rojo de IA? Como cualquier software informático, los modelos de IA comparten las mismas cibervulnerabilidades: pueden ser pirateados por actores nefastos para lograr una variedad de objetivos, incluido el robo de datos o el sabotaje. Como tal, el equipo rojo puede ofrecer un enfoque para proteger los modelos de IA de amenazas externas. Por ejemplo, Google utiliza equipos rojos para proteger sus modelos de IA de amenazas como ataques rápidos, envenenamiento de datos y puertas traseras. Una vez que se identifican dichas vulnerabilidades, se pueden cerrar las brechas en el software. Para abordar los riesgos potenciales de la IA, los desarrolladores de tecnología han creado redes de expertos externos para ayudarlos a evaluar la seguridad de sus modelos. Sin embargo, tienden a contratar contratistas y exigirles que firmen acuerdos de confidencialidad. Los ejercicios todavía se llevan a cabo a puerta cerrada y los resultados se comunican al público en términos generales. Especialmente en el caso de la IA, los expertos del grupo de expertos en tecnología Data & Society afirman que el red teaming no debería tener lugar internamente dentro de una empresa. Zenko sugiere que “no sólo es necesaria la validación de terceros independientes, sino que las empresas deberían crear equipos multifuncionales y multidisciplinarios, no sólo ingenieros y piratas informáticos”. Dan Hendrycks, director ejecutivo y de investigación del Centro de IA con sede en San Francisco La seguridad, afirma el Red Teaming, tampoco debería tratarse como una solución llave en mano. «La técnica es ciertamente útil», afirma. «Pero representa sólo una línea de defensa contra los riesgos potenciales de la IA, y es esencial un ecosistema más amplio de políticas y métodos». El nuevo Instituto de Seguridad de IA del NIST ahora tiene la oportunidad de cambiar la forma en que se utiliza el equipo rojo en la IA. Según se informa, el consorcio del Instituto, formado por más de 200 organizaciones, ya ha comenzado a desarrollar estándares para los equipos rojos de IA. Los desarrolladores de tecnología también han comenzado a explorar las mejores prácticas por su cuenta. Por ejemplo, Anthropic, Google, Microsoft y OpenAI han establecido el Frontier Model Forum (FMF) para desarrollar estándares para la seguridad de la IA y compartir las mejores prácticas en toda la industria. Chris Meserole, director ejecutivo de FMF, dice que «la formación de equipos rojos puede ser una gran punto de partida para evaluar los riesgos potenciales que un modelo podría introducir”. Sin embargo, añade, los modelos de IA que están a la vanguardia del desarrollo tecnológico exigen una variedad de estrategias, no sólo una herramienta reciclada de la ciberseguridad y, en última instancia, de la Guerra Fría. El equipo rojo, dice Meserole, está lejos de ser «una panacea, por lo que hemos querido apoyar el desarrollo de otras técnicas de evaluación, evaluación y mitigación para garantizar la seguridad de los modelos de IA de vanguardia».
Source link
Representantes de 28 países y empresas de tecnología se reunieron en el sitio histórico de Bletchley Park en el Reino Unido para la Cumbre de Seguridad de la IA celebrada del 1 al 2 de noviembre de 2023. El primer día de la cumbre culminó con la firma de la “histórica” Declaración de Bletchley sobre la IA. Seguridad, que compromete a 28 países participantes, incluidos el Reino Unido, EE. UU. y China, a gestionar y mitigar conjuntamente los riesgos de la inteligencia artificial, garantizando al mismo tiempo un desarrollo y un despliegue seguros y responsables. En el segundo y último día de la cumbre, los gobiernos y las principales organizaciones de IA acordaron un nuevo plan para las pruebas seguras de tecnologías avanzadas de IA, que incluye un papel gubernamental en las pruebas de modelos previas y posteriores al despliegue. Saltar a: ¿Qué es la Cumbre de Seguridad de la IA? La Cumbre de Seguridad de la IA es una importante conferencia que se celebró los días 1 y 2 de noviembre de 2023 en Buckinghamshire, Reino Unido. Reunió a gobiernos internacionales, empresas de tecnología y académicos para considerar los riesgos de la IA “en la frontera del desarrollo” y discutir cómo se pueden abordar estos riesgos. mitigados mediante un esfuerzo conjunto y global. El día inaugural de la Cumbre de Seguridad de la IA contó con una serie de charlas de líderes empresariales y académicos destinadas a promover una comprensión más profunda de la IA de vanguardia. Esto incluyó una serie de mesas redondas con “desarrolladores clave”, incluidos OpenAI, Anthropic y Google DeepMind, con sede en el Reino Unido, que se centraron en cómo se pueden definir umbrales de riesgo, evaluaciones de seguridad efectivas y mecanismos sólidos de gobernanza y rendición de cuentas. VER: Hoja de referencia de ChatGPT: Guía completa para 2023 (TechRepublic) El primer día de la cumbre también contó con un discurso virtual del rey Carlos III, quien calificó la IA como uno de los “mayores saltos tecnológicos” de la humanidad y destacó el potencial de la tecnología para transformar la atención médica y diversos otros aspectos de la vida. El monarca británico pidió una sólida coordinación y colaboración internacional para garantizar que la IA siga siendo una tecnología segura y beneficiosa. ¿Quién asistió a la Cumbre de seguridad de la IA? Representantes del Instituto Alan Turing, la Universidad de Stanford, la Organización para la Cooperación y el Desarrollo Económicos y el Instituto Ada Lovelace estuvieron entre los asistentes a la Cumbre de Seguridad de la IA, junto con empresas de tecnología como Google, Microsoft, IBM, Meta y AWS, así como como líderes como el jefe de SpaceX, Elon Musk. También estuvo presente la vicepresidenta de Estados Unidos, Kamala Harris. ¿Qué es la Declaración de Bletchley sobre la seguridad de la IA? La Declaración de Bletchley establece que los desarrolladores de tecnologías de IA avanzadas y potencialmente peligrosas asumen una responsabilidad importante para garantizar que sus sistemas sean seguros a través de rigurosos protocolos de prueba y medidas de seguridad para evitar el mal uso y los accidentes. También enfatiza la necesidad de un terreno común para comprender los riesgos de la IA y fomentar asociaciones internacionales de investigación en seguridad de la IA, al tiempo que reconoce que existe «el potencial de que se produzcan daños graves, incluso catastróficos, ya sea deliberados o no, derivados de las capacidades más significativas de estos modelos de IA». .” El Primer Ministro del Reino Unido, Rishi Sunak, calificó la firma de la declaración como «un logro histórico que ve a las mayores potencias de IA del mundo acordar en la urgencia de comprender los riesgos de la IA». En una declaración escrita, Sunak dijo: “Bajo el liderazgo del Reino Unido, más de veinticinco países en la Cumbre de Seguridad de la IA han declarado una responsabilidad compartida para abordar los riesgos de la IA y promover una colaboración internacional vital en la investigación y la seguridad de la IA. «Una vez más, el Reino Unido lidera al mundo a la vanguardia de esta nueva frontera tecnológica al iniciar esta conversación, que nos permitirá trabajar juntos para hacer que la IA sea segura y aprovechar todos sus beneficios para las generaciones venideras». (El gobierno del Reino Unido ha denominado “IA de frontera” a los sistemas avanzados de inteligencia artificial que podrían plantear riesgos aún desconocidos para la sociedad). El Primer Ministro del Reino Unido, Rishi Sunak, fue el anfitrión de la Cumbre de IA del Reino Unido en Bletchley Park. Imagen: Simon Dawson / No 10 Downing Street Reacciones de los expertos a la Declaración de Bletchley Si bien el gobierno del Reino Unido subrayó repetidamente la importancia de la declaración, algunos analistas se mostraron más escépticos. Martha Bennett, vicepresidenta analista principal de Forrester, sugirió que la firma del acuerdo era más simbólica que sustantiva, y señaló que los firmantes “no habrían aceptado el texto de la Declaración de Bletchley si contuviera algún detalle significativo sobre cómo debería regularse la IA”. .” Bennett le dijo a TechRepublic por correo electrónico: «Esta declaración no tendrá ningún impacto real en la forma en que se regula la IA. Por un lado, la UE ya tiene en proceso la Ley de IA; en los EE. UU., el presidente Biden emitió el 30 de octubre una Orden Ejecutiva sobre IA, y el 30 de octubre se publicaron los Principios Rectores Internacionales y el Código Internacional de Conducta para la IA del G7. todos los cuales contienen más sustancia que la Declaración de Bletchley”. Sin embargo, Bennett dijo que el hecho de que la declaración no tuviera un impacto directo en la política no era necesariamente algo malo. “La Cumbre y la Declaración de Bletchley tienen más que ver con establecer señales y demostrar voluntad de cooperar, y eso es importante. Tendremos que esperar y ver si las buenas intenciones van seguidas de acciones significativas”, afirmó. ¿Cómo probarán los gobiernos los nuevos modelos de IA? Los gobiernos y las empresas de IA también acordaron un nuevo marco de pruebas de seguridad para modelos avanzados de IA en el que los gobiernos desempeñarán un papel más destacado en las evaluaciones previas y posteriores al despliegue. El marco, que se basa en la Declaración de Bletchley, garantizará que los gobiernos “tengan un papel en velar por que se realicen pruebas de seguridad externas de los modelos fronterizos de IA”, particularmente en áreas relacionadas con la seguridad nacional y el bienestar público. El objetivo es trasladar la responsabilidad de probar la seguridad de los modelos de IA de las empresas de tecnología únicamente. En el Reino Unido, esto será realizado por un nuevo Instituto de Seguridad de IA, que trabajará con el Instituto Alan Turing para “probar cuidadosamente nuevos tipos de IA de vanguardia” y “explorar todos los riesgos, desde daños sociales como prejuicios y desinformación, hasta la El riesgo más improbable pero extremo, como que la humanidad pierda completamente el control de la IA”. VER: Kit de contratación: Ingeniero rápido (TechRepublic Premium) El renombrado científico informático Yoshua Bengio tiene la tarea de liderar la creación de un informe sobre el «Estado de la ciencia», que evaluará las capacidades y los riesgos de la inteligencia artificial avanzada e intentará establecer un sistema unificado. comprensión de la tecnología. Durante la conferencia de prensa de clausura de la cumbre, un miembro de los medios de comunicación preguntó a Sunak si la responsabilidad de garantizar la seguridad de la IA debería recaer principalmente en las empresas que desarrollan modelos de IA, como lo respalda el profesor Bengio. En respuesta, Sunak expresó la opinión de que las empresas no pueden ser las únicas responsables de “marcar sus propios deberes” y sugirió que los gobiernos tenían el deber fundamental de garantizar la seguridad de sus ciudadanos. «Corresponde a los gobiernos mantener a sus ciudadanos seguros y protegidos, y es por eso que hemos invertido significativamente en nuestro Instituto de Seguridad de IA», dijo. “Nuestro trabajo es evaluar, monitorear y probar de forma independiente y externa estos modelos para asegurarnos de que sean seguros. ¿Creo que las empresas tienen una responsabilidad moral general de garantizar que el desarrollo de su tecnología se realice de forma segura? Sí, (y) todos han dicho exactamente lo mismo. Pero creo que también estarían de acuerdo en que los gobiernos deben desempeñar ese papel”. Otro periodista cuestionó a Sunak sobre el enfoque del Reino Unido para regular la tecnología de IA, específicamente si los acuerdos voluntarios eran suficientes en comparación con un régimen de licencias formal. En respuesta, Sunak argumentó que el ritmo al que evolucionaba la IA requería una respuesta gubernamental que se mantuviera al día, y sugirió que el Instituto de Seguridad de la IA sería responsable de realizar las evaluaciones e investigaciones necesarias para informar la regulación futura. «La tecnología se está desarrollando a tal ritmo que los gobiernos tienen que asegurarse de que podemos mantener el ritmo ahora, antes de empezar a exigir cosas y legislar al respecto», dijo Sunak. «Es importante que la regulación se base empíricamente en la evidencia científica, y por eso debemos hacer el trabajo primero». ¿Cuáles son las reacciones de los expertos a la Cumbre de Seguridad de la IA? Poppy Gustafsson, directora ejecutiva de la empresa de ciberseguridad de inteligencia artificial Darktrace, dijo a PA Media que le preocupaba que las discusiones se centraran demasiado en “riesgos hipotéticos del futuro”, como robots asesinos, pero que en la realidad las discusiones eran más “medidas”. Más cobertura de IA de lectura obligada Bennett de Forrester tenía una opinión marcadamente diferente y le dijo a TechRepublic que había «demasiado énfasis en escenarios lejanos y potencialmente apocalípticos». Y añadió: «Si bien la declaración (de Bletchley) incluye todas las palabras correctas sobre la investigación científica y la colaboración, que por supuesto son cruciales para abordar los problemas actuales relacionados con la seguridad de la IA, el final del documento lo devuelve a la IA de vanguardia». Bennet también señaló que, si bien gran parte de la retórica que rodeó la cumbre fue de cooperación y colaboración, las naciones individuales estaban avanzando con sus propios esfuerzos para convertirse en líderes en IA. “Si alguien esperaba que la Cumbre incluyera un anuncio sobre el establecimiento de un nuevo organismo global de investigación de IA, esas esperanzas se desvanecieron. Por ahora, los países se están centrando en sus propios esfuerzos: la semana pasada, el Primer Ministro del Reino Unido, Rishi Sunak, anunció el establecimiento del «primer Instituto de Seguridad de IA del mundo». Hoy (1 de noviembre), el presidente estadounidense Biden anunció el establecimiento del Instituto de Seguridad de Inteligencia Artificial de Estados Unidos”. Y añadió: «Esperemos que veamos el tipo de colaboración entre estos diferentes institutos que defiende la Declaración de Bletchley». VER: La Cumbre AI for Good de la ONU explora cómo la IA generativa plantea riesgos y fomenta las conexiones (TechRepublic) Rajesh Ganesan, presidente de ManageEngine, propiedad de Zoho, comentó en un comunicado por correo electrónico que, “Si bien algunos pueden sentirse decepcionados si la cumbre no logra establecer un organismo regulador global”, el hecho de que los líderes globales estuvieran discutiendo la regulación de la IA fue un paso positivo hacia adelante. «Lograr un acuerdo internacional sobre los mecanismos para gestionar los riesgos que plantea la IA es un hito importante: una mayor colaboración será fundamental para equilibrar los beneficios de la IA y limitar su capacidad dañina», dijo Ganesan en un comunicado. “Está claro que las prácticas de regulación y seguridad seguirán siendo fundamentales para la adopción segura de la IA y deben seguir el ritmo de sus rápidos avances. Esto es algo que la Ley de IA de la UE y los acuerdos del Código de Conducta del G7 podrían impulsar y proporcionar un marco para ello”. Ganesan añadió: “Necesitamos priorizar la educación continua y brindar a las personas las habilidades para utilizar sistemas de IA generativa de forma segura. Si no se logra que la adopción de la IA se centre en las personas que la utilizan y se benefician de ella, se corre el riesgo de obtener resultados peligrosos y subóptimos”. ¿Por qué es importante la seguridad de la IA? Actualmente no existe un conjunto integral de regulaciones que rijan el uso de la inteligencia artificial, aunque la Unión Europea ha redactado un marco que apunta a establecer reglas para la tecnología en el bloque de 28 naciones. El posible uso indebido de la IA, ya sea de forma maliciosa o mediante errores humanos o mecánicos, sigue siendo una preocupación clave. En la cumbre se escuchó que las vulnerabilidades de ciberseguridad, los peligros biotecnológicos y la difusión de desinformación representaban algunas de las amenazas más importantes publicadas por la IA, mientras que también se destacaron problemas con el sesgo algorítmico y la privacidad de los datos. La Secretaria de Tecnología del Reino Unido, Michelle Donelan, enfatizó la importancia de la Declaración de Bletchley como primer paso para garantizar el desarrollo seguro de la IA. También afirmó que la cooperación internacional era esencial para generar confianza pública en las tecnologías de IA, y agregó que “ningún país puede enfrentar por sí solo los desafíos y riesgos que plantea la IA”. El 1 de noviembre señaló: “La histórica Declaración de hoy marca el inicio de un nuevo esfuerzo global para generar confianza pública garantizando el desarrollo seguro de la tecnología”. ¿Cómo ha invertido el Reino Unido en IA? En vísperas de la Cumbre de Seguridad de la IA del Reino Unido, el gobierno del Reino Unido anunció una financiación de £118 millones (143 millones de dólares) para impulsar la financiación de habilidades de IA en el Reino Unido. La financiación se destinará a centros de investigación, becas y programas de visas y tiene como objetivo alentar a los jóvenes a estudiar los campos de la inteligencia artificial y la ciencia de datos. Mientras tanto, se han destinado £21 millones ($25,5 millones) para equipar al Servicio Nacional de Salud del Reino Unido con tecnología de diagnóstico y de imágenes impulsada por IA, como rayos X y tomografías computarizadas.