Según un informe del organismo de investigación independiente Ada Lovelace Institute, las pruebas de seguridad utilizadas para los modelos de base de la IA son insuficientes. Para evaluar las capacidades, los riesgos, el rendimiento, el comportamiento y el impacto social de los modelos de base, los investigadores del Instituto realizaron una revisión de la literatura y hablaron con expertos de proveedores de modelos de base, empresas de evaluación de terceros, laboratorios académicos y organizaciones de la sociedad civil. Y descubrieron que, si bien las evaluaciones pueden tener un propósito útil, no son suficientes por sí solas para determinar la seguridad de los productos y servicios creados utilizando estos modelos de IA, y deben usarse junto con otras herramientas de gobernanza. Los métodos existentes, como el «equipo rojo» y la evaluación comparativa, tienen limitaciones técnicas y prácticas, y los desarrolladores podrían manipularlos o «engañarlos», dice el Instituto, mientras que las evaluaciones de modelos en entornos «ab» pueden ser útiles, pero no brindan la historia completa. «El campo de la evaluación de la IA es nuevo y está en desarrollo. Los métodos actuales pueden proporcionar información útil, pero nuestra investigación muestra que existen desafíos y limitaciones importantes, incluida la falta de estándares y prácticas sólidas», dijo Andrew Strait, director asociado del Ada Lovelace Institute. «Gobernar la IA se trata de»La evaluación de la IA es más que una mera evaluación. Los responsables de las políticas y los reguladores tienen razón en ver un papel para los métodos de evaluación, pero deben tener cuidado de no basar las decisiones políticas únicamente en ellos». El informe explora cómo los reguladores y los responsables de las políticas deberían pensar en estos métodos y ofrece una serie de recomendaciones. Deben desarrollar evaluaciones específicas para cada contexto que respondan a las necesidades de reguladores específicos, por ejemplo, evaluaciones específicas de atención médica para reguladores de atención médica. Reciba nuestras últimas noticias, actualizaciones de la industria, recursos destacados y más. Regístrese hoy para recibir nuestro informe GRATUITO sobre ciberdelito y seguridad de la IA, recientemente actualizado para 2024. Deberían invertir en la ciencia de las evaluaciones para desarrollar evaluaciones más sólidas, incluida la comprensión de cómo funcionan los modelos y respaldar un ecosistema de evaluación de terceros, incluso a través de esquemas de certificación. Y deberían establecer una regulación que incentive a las empresas a tomar en serio la evaluación, lo que incluye otorgar a los reguladores los poderes para examinar los modelos y sus aplicaciones, junto con la posibilidad de bloquear lanzamientos si parecen inseguros. «Vale la pena invertir en las evaluaciones, pero deberían ser parte de un conjunto de herramientas de gobernanza de la IA más amplio», dijo Strait. «Estos métodos emergentes deben utilizarse en conjunto con otros mecanismos de gobernanza y, fundamentalmente, deben contar con el apoyo de una legislación integral y una aplicación sólida». La Ley de IA de la UE exige que los desarrolladores de estos modelos los evalúen en busca de «riesgos sistémicos», mientras que Estados Unidos ha establecido nuevos institutos de seguridad de IA y ha conseguido compromisos voluntarios de las empresas de IA para permitir la evaluación de sus modelos. El Reino Unido también ha creado un instituto de seguridad de IA con un enfoque «pro-innovación», criticado por muchos por tener controles inadecuados. Sin embargo, el nuevo gobierno laborista ha dicho que planea introducir una regulación específica de la IA y establecer una Oficina de Innovación Regulatoria para la IA, aunque no se explicaron detalles en su manifiesto electoral y queda por ver cuán estricta será.