El Instituto Nacional de Estándares y Tecnología (NIST) está volviendo a publicar una herramienta que prueba qué tan susceptibles son los modelos de inteligencia artificial (IA) a ser «envenenados» por datos maliciosos. La medida llega nueve meses después de la Orden Ejecutiva del Presidente Biden sobre el desarrollo seguro, protegido y confiable de la IA, y es una respuesta directa al requisito de esa orden de que el NIST ayude con las pruebas de modelos. El NIST también lanzó recientemente un programa que ayuda a los estadounidenses a usar la IA sin caer presa de contenido sintético o generado por IA y que promueve el desarrollo de la IA en beneficio de la sociedad. La herramienta, llamada Dioptra, se lanzó inicialmente hace dos años y tiene como objetivo ayudar a las pequeñas y medianas empresas y agencias gubernamentales. Con la herramienta, alguien puede determinar qué tipo de ataques harían que su modelo de IA funcione con menor eficacia y cuantificar la reducción en el rendimiento para ver las condiciones que hicieron que el modelo fallara. Además: Cuidado con el «colapso del modelo» de IA: cómo el entrenamiento con datos sintéticos contamina la próxima generación¿Por qué es importante esto? Es fundamental que las organizaciones tomen medidas para garantizar que los programas de IA sean seguros. El NIST está alentando activamente a las agencias federales a utilizar la IA en varios sistemas. Los modelos de IA se entrenan con datos existentes y, si alguien inyecta deliberadamente datos maliciosos (por ejemplo, datos que hicieron que la IA ignorara las señales de stop o los límites de velocidad), señala el NIST, los resultados podrían ser desastrosos. A pesar de todos los beneficios transformadores de la IA, la directora del NIST, Laurie E. Locascio, dice que la tecnología conlleva riesgos que son mucho mayores que los asociados con otros tipos de software. «Estos documentos de orientación y la plataforma de prueba informarán a los creadores de software sobre estos riesgos únicos y los ayudarán a desarrollar formas de mitigarlos al tiempo que respaldan la innovación», señala en el comunicado. Además: Las pautas de seguridad proporcionan la primera capa necesaria de protección de datos en la fiebre del oro de la IADioptra puede probar múltiples combinaciones de ataques, defensas y arquitecturas de modelos para comprender mejor qué ataques pueden representar las mayores amenazas, dice el NIST, y qué soluciones podrían ser las mejores. La herramienta no promete eliminar todos los riesgos, pero sí afirma ayudar a mitigar el riesgo al mismo tiempo que respalda la innovación. Está disponible para descargar de forma gratuita.