El requisito de probar modelos de IA, mantener a los humanos informados y dar a las personas el derecho a desafiar las decisiones automatizadas tomadas por la IA son solo algunas de las 10 barreras de protección obligatorias propuestas por el gobierno australiano como formas de minimizar el riesgo de la IA y generar confianza pública en la tecnología. Lanzada para consulta pública por el Ministro de Industria y Ciencia Ed Husic en septiembre de 2024, las barreras de protección podrían aplicarse pronto a la IA utilizada en entornos de alto riesgo. Se complementan con un nuevo Estándar Voluntario de Seguridad de IA diseñado para alentar a las empresas a adoptar las mejores prácticas de IA de inmediato. ¿Cuáles son las barreras de protección obligatorias de IA que se proponen? Las 10 barreras de protección obligatorias propuestas por Australia están diseñadas para establecer expectativas claras sobre cómo usar la IA de manera segura y responsable al desarrollarla e implementarla en entornos de alto riesgo. Buscan abordar los riesgos y daños de la IA, generar confianza pública y brindar a las empresas una mayor certeza regulatoria. Barrera de protección 1: Responsabilidad De manera similar a los requisitos en la legislación de IA tanto canadiense como de la UE, las organizaciones deberán establecer, implementar y publicar un proceso de rendición de cuentas para el cumplimiento normativo. Esto incluiría aspectos como políticas para la gestión de datos y riesgos y roles y responsabilidades internas claras. Guardrail 2: Gestión de riesgos Será necesario establecer e implementar un proceso de gestión de riesgos para identificar y mitigar los riesgos de la IA. Esto debe ir más allá de una evaluación de riesgos técnicos para considerar los posibles impactos en las personas, los grupos comunitarios y la sociedad antes de que se pueda poner en uso un sistema de IA de alto riesgo. VER: 9 casos de uso innovadores para IA en empresas australianas en 2024 Guardrail 3: Protección de datos Las organizaciones deberán proteger los sistemas de IA para salvaguardar la privacidad con medidas de ciberseguridad, así como desarrollar medidas sólidas de gobernanza de datos para administrar la calidad de los datos y su procedencia. El gobierno observó que la calidad de los datos afecta directamente al rendimiento y la confiabilidad de un modelo de IA. Guardrail 4: Pruebas Los sistemas de IA de alto riesgo deberán probarse y evaluarse antes de colocarlos en el mercado. También deberán ser monitoreados continuamente una vez implementados para garantizar que funcionen como se espera. Esto es para asegurar que cumplan con métricas de rendimiento específicas, objetivas y mensurables y que se minimice el riesgo. Maneras en que el Gobierno australiano apoya una IA segura y responsable Barrera 5: Control humano Se requerirá una supervisión humana significativa para los sistemas de IA de alto riesgo. Esto significará que las organizaciones deben asegurarse de que los humanos puedan comprender eficazmente el sistema de IA, supervisar su funcionamiento e intervenir cuando sea necesario en toda la cadena de suministro de IA y durante todo el ciclo de vida de la IA. Barrera 6: Información del usuario Las organizaciones deberán informar a los usuarios finales si son objeto de decisiones habilitadas por IA, están interactuando con IA o están consumiendo cualquier contenido generado por IA, para que sepan cómo se está utilizando la IA y dónde los afecta. Esto deberá comunicarse de manera clara, accesible y relevante. Barrera 7: Cuestionar la IA Las personas afectadas negativamente por los sistemas de IA tendrán derecho a cuestionar el uso o los resultados. Las organizaciones deberán establecer procesos para que las personas afectadas por sistemas de IA de alto riesgo impugnen las decisiones habilitadas por IA o presenten quejas sobre su experiencia o tratamiento. Barrera 8: Transparencia Las organizaciones deben ser transparentes con la cadena de suministro de IA sobre los datos, modelos y sistemas para ayudarlas a abordar el riesgo de manera eficaz. Esto se debe a que algunos actores pueden carecer de información crítica sobre cómo funciona un sistema, lo que lleva a una explicabilidad limitada, similar a los problemas con los modelos avanzados de IA de la actualidad. Barandilla 9: Registros de IA Mantener y conservar una variedad de registros sobre los sistemas de IA será necesario a lo largo de su ciclo de vida, incluida la documentación técnica. Las organizaciones deben estar listas para entregar estos registros a las autoridades pertinentes cuando se los soliciten y con el fin de evaluar su cumplimiento de las barandillas. VER: Por qué los proyectos de IA generativa corren el riesgo de fracasar sin una comprensión del negocio Barandilla 10: Evaluaciones de IA Las organizaciones estarán sujetas a evaluaciones de conformidad, descritas como un mecanismo de responsabilidad y garantía de calidad, para demostrar que se han adherido a las barandillas para los sistemas de IA de alto riesgo. Estas serán realizadas por los desarrolladores del sistema de IA, terceros o entidades gubernamentales o reguladores. Más cobertura de Australia ¿Cuándo y cómo entrarán en vigor las 10 nuevas barandillas obligatorias? Las barandillas obligatorias están sujetas a un proceso de consulta pública hasta el 4 de octubre de 2024. Después de esto, el gobierno buscará finalizar las barandillas y ponerlas en vigor, según Husic, quien agregó que esto podría incluir la posible creación de una nueva Ley de IA australiana. Otras opciones incluyen: La adaptación de los marcos regulatorios existentes para incluir las nuevas barandillas. Introducir una legislación marco con enmiendas asociadas a la legislación existente. Husic ha dicho que el gobierno hará esto «tan pronto como podamos». Las barandillas han nacido de un proceso de consulta más largo sobre la regulación de la IA que ha estado en curso desde junio de 2023. ¿Por qué el gobierno está adoptando el enfoque que está adoptando para la regulación? El gobierno australiano está siguiendo a la UE al adoptar un enfoque basado en el riesgo para regular la IA. Este enfoque busca equilibrar los beneficios que la IA promete traer con el despliegue en entornos de alto riesgo. Centrarse en entornos de alto riesgo Las medidas preventivas propuestas en las barandillas buscan «evitar daños catastróficos antes de que ocurran», explicó el gobierno en su documento de propuestas de IA segura y responsable en Australia. El gobierno definirá la IA de alto riesgo como parte de la consulta. Sin embargo, sugiere que considerará escenarios como impactos adversos para los derechos humanos de un individuo, impactos adversos para la salud o seguridad física o mental y efectos legales como material difamatorio, entre otros riesgos potenciales. Las empresas necesitan orientación sobre IA El gobierno afirma que las empresas necesitan barandillas claras para implementar la IA de manera segura y responsable. Un Índice de IA Responsable 2024 recientemente publicado, encargado por el Centro Nacional de IA, muestra que las empresas australianas sobreestiman constantemente su capacidad para emplear prácticas de IA responsables. Los resultados del índice encontraron: El 78% de las empresas australianas creen que estaban implementando IA de manera segura y responsable, pero solo en el 29% de los casos esto era correcto. Las organizaciones australianas están adoptando solo 12 de las 38 prácticas de IA responsables en promedio. ¿Qué deberían hacer ahora las empresas y los equipos de TI? Las barandillas obligatorias crearán nuevas obligaciones para las organizaciones que utilizan IA en entornos de alto riesgo. Es probable que los equipos de TI y seguridad participen en el cumplimiento de algunos de estos requisitos, incluidas las obligaciones de calidad y seguridad de los datos, y en la garantía de la transparencia del modelo a través de la cadena de suministro. El estándar voluntario de seguridad de la IA El gobierno ha publicado un estándar voluntario de seguridad de la IA que ya está disponible para las empresas. Los equipos de TI que quieran estar preparados pueden utilizar el estándar de seguridad de la IA para ayudar a que sus empresas cumplan con las obligaciones que impone cualquier legislación futura, que puede incluir las nuevas medidas de protección obligatorias. El estándar de seguridad de la IA incluye consejos sobre cómo las empresas pueden aplicar y adoptar el estándar a través de ejemplos de estudios de casos específicos, incluido el caso de uso común de un chatbot de IA de propósito general.