¡Gracias a todos los que participaron en el Taller de perfil Cyber AI NIST organizado en abril pasado! Este trabajo tiene la intención de apoyar las comunidades cibernéticas y de IA, y el aporte que proporcionó durante este taller es crítico. Estamos trabajando para publicar un resumen de taller que capture temas y aspectos destacados del evento. Mientras tanto, nos gustaría compartir una vista previa de lo que escuchamos. Taller de perfil Cyber AI (mire el video de introducción del taller) como NIST comenzó a explorar la idea de un perfil de AI cibernética y escribir la seguridad cibernética y el documento conceptual de taller de IA que conduce a este taller, los interesados nos dijeron que hay varios temas de ciberseguridad que son las principales de la mente de los negocios. El perfil Cyber AI tiene como objetivo ofrecer una guía práctica para abordar esos temas aplicando el marco de seguridad cibernética NIST para abordar tres áreas de enfoque: asegurar los componentes del sistema AI, realizar la defensa cibernética habilitada para AI y frustrar los ataques cibernéticos habilitados para AI. El perfil Cyber AI acelerará el desarrollo y la adopción de IA al ayudar a las organizaciones a comprender el panorama y permitirles priorizar de manera efectiva las acciones e inversiones de la IA e implementar prácticas de gestión de riesgos de ciberseguridad. El objetivo del taller de abril era recopilar comentarios de la comunidad sobre el documento conceptual para informar el desarrollo del perfil Cyber AI. Los comentarios públicos recibidos sobre el documento conceptual informaron la agenda y las discusiones del taller. Durante el taller, el personal de NIST, el personal de NCCOE y los participantes exploraron el alcance y las aplicaciones prácticas del perfil Cyber AI, incluidas las tres áreas de enfoque en asegurar los componentes del sistema de IA, frustrando los ataques cibernéticos habilitados para la AI, y aprovechar la IA para actividades cibernéticas. El público en vivo, seguido de tres rondas de sesiones de ruptura en persona. Durante las discusiones de talleres, las partes interesadas compartieron que la seguridad de estos sistemas es importante, así como la mejor manera de usar IA para mejorar y adaptar sus ciberfensas con el advenimiento de los adversarios que usan IA para ciberdeches. Los participantes generalmente ven el perfil Cyber AI como una herramienta útil y acordaron comenzar con el marco de seguridad cibernética, señalando que las características clave deben incluir la escalabilidad para organizaciones de diferentes tamaños y tolerancias de riesgo, así como reducir la redundancia en los marcos y la evolución del panorama de los reglamentos, los estándares y la guía. El riesgo de IA es el riesgo organizacional. Como tal, es fundamental integrar la gestión de riesgos de IA en las prácticas de gestión de riesgos empresariales existentes y las estructuras de gobernanza. Colaboración y educación multidisciplinaria: el uso de IA introduce consideraciones de múltiples aspectos de las operaciones organizacionales, incluidos los equipos legales, técnicos, de adquisiciones/adquisiciones y de gobierno. La colaboración en estas áreas se destacó como esencial para abordar los riesgos de ciberseguridad relacionados con la IA. Los participantes pidieron integrar perspectivas a través de equipos multidisciplinarios para garantizar una visión empresarial integral. También discutieron la necesidad de educación y colaboración cruzada para cerrar las brechas de conocimiento entre la IA y los expertos en ciberseguridad. Naturaleza de doble uso de la AI: la naturaleza de doble uso de AI, tanto como una herramienta para mejorar las defensas y como un medio para que los adversarios amplifiquen los ataques, presenta oportunidades y riesgos. Las consideraciones de ciberseguridad deben abordar estos usos duales. La IA puede mejorar las herramientas de ciberseguridad, como la detección de anomalías y la respuesta a incidentes, y también permite a los adversarios escalar y automatizar ataques, incluyendo phishing, envenenamiento de datos e inversión del modelo. Las medidas de defensa proactivas, como el equipo rojo automatizado y los principios de confianza cero, se identificaron como esenciales. Efectividad en la defensa cibernética: la IA mejora la eficiencia en la ciberseguridad, como el análisis de datos más rápido y la dependencia reducida de los servicios de terceros. Sin embargo, los participantes enfatizaron la importancia de los puntos de referencia medibles para evaluar el rendimiento de la IA y mitigar los desafíos como falsos positivos y negativos para garantizar que las capacidades de defensa cibernética impulsada por la IA funcionen como se esperaba. Seguridad de la cadena de suministro: el taller subrayó la importancia de asegurar la cadena de suministro de IA, incluida la necesidad de comprender los orígenes de los componentes de IA (por ejemplo, microservicios, contenedores, bibliotecas) y datos, las nuevas vulnerabilidades que pueden introducir y sus posibles impactos en la ciberseguridad. Las discusiones también cubrieron modelos de código abierto, capacitación y uso de modelos de terceros, entendiendo los impactos de los cambios del modelo a lo largo del tiempo y las dependencias de terceros (así como la necesidad de confianza y procedencia). Transparencia: los participantes pidieron una mayor transparencia en los sistemas de IA utilizados para apoyar la seguridad cibernética, incluida la documentación clara de la procedencia de los datos, el comportamiento del modelo y los procesos de toma de decisiones. Las preocupaciones sobre la distribución de datos que conducen a resultados incorrectos se identificaron como áreas que requieren más enfoque para garantizar la confiabilidad en las implementaciones de ciberseguridad. Human-in the-Loop: los participantes enfatizaron la importancia de los procesos y la capacitación humanos en el circuito para garantizar una implementación y supervisión efectivas de los sistemas de IA utilizados para la ciberseguridad. Las discusiones destacaron los desafíos para comprender el comportamiento de la IA, incluida la variabilidad de las respuestas y la dificultad para interpretar las decisiones impulsadas por la IA. Unir las brechas de conocimiento entre los investigadores de IA y los profesionales de la ciberseguridad se identificó como crítica para permitir que las dos comunidades trabajen juntas para construir y mantener sistemas de IA confiables. Framework Integration: Participants emphasized the need for a shared understanding and common taxonomy between the AI and cybersecurity communities and noted the importance of integrating AI-specific risks into existing frameworks, such as the NIST Cybersecurity Framework (CSF), NIST AI Risk Management Framework (AI RMF), NIST Privacy Framework, NIST Risk Management Framework (NIST RMF), and Security and Privacy Controls for Information Sistemas y organizaciones. Las sugerencias incluyeron mapeos a los estándares internacionales, como el Reglamento General de Protección de Datos de la Unión Europea (GDPR) y el anticipado ISO/IEC 27090, y aprovechando otros recursos como Miter Atlastm para el modelado de amenazas. También se discutió la necesidad de perfiles comunitarios específicos del sector adaptados a industrias como la atención médica, las finanzas y la energía. Guía de implementación y referencias informativas: múltiples discusiones enfatizaron la necesidad de orientación sobre la implementación de controles para sistemas de IA y referencias informativas para ayudar a las organizaciones a comprender cómo gestionar los riesgos relacionados con la IA. Vea esta publicación de blog NIST sobre una nueva iniciativa alineada con esta área: CyberSecurity and AI: integración y construcción de las pautas NIST existentes. Gobierno de datos: la gobernanza de datos se identificó como un tema crítico, particularmente para los sistemas de IA que dependen de fuentes de datos externas o de terceros. Los participantes pidieron un área de enfoque separada para abordar los datos confidenciales y su uso en los sistemas de IA, incluidas las consideraciones de privacidad. Vea este esfuerzo NIST relacionado: gobernanza de datos y perfil de gestión. Además, hubo un énfasis significativo en la necesidad de complementar las medidas tradicionales de ciberseguridad con medidas de ciberseguridad adaptadas para la IA. Ejemplos de enfoques personalizados discutidos durante el taller incluyen: firma criptográfica para modelos. Sistemas de certificación. Uso de la Lectura de materiales de software de IA (AI SBOM) para mejorar la transparencia y la responsabilidad en los componentes de la IA. Secure en los bendiciones de retroalimentación, cuando los resultados del modelo se reutilizan para la capacitación o la toma de decisiones, para prevenir la amplificación de los errores o las manipulaciones adversariales. manipulación. Manejo de identidad adaptativa y estrategias de control de acceso y políticas para abordar el creciente y complejo papel de las identidades no humanas, como los agentes y aplicaciones de IA, en los entornos organizacionales. Estrategias de respuesta incidente y planes que distinguen los ataques contra los modelos de IA de los incidentes de seguridad tradicionales de la Cibersesegías y facilitan las respuestas apropiadas a los ataques de los modelos de Ayguacros de los modelos de los modelos de los modelos. El ciclo de vida en los sistemas de IA (por ejemplo, entradas y salidas de modelos), estas conclusiones proporcionan una base para la futura participación de la comunidad. Next Stepsto Continúa este diálogo abierto y en curso, NIST está ejecutando una serie de sesiones de trabajo virtuales durante el resto del verano y el otoño temprano para explorar más a fondo cada una de las tres áreas de enfoque. La primera sesión de trabajo virtual se llevará a cabo el 05 de agosto de 2025. ¡Esperamos verte allí! También hemos actualizado la hoja de ruta del perfil Cyber AI. La última versión aparece a continuación. Las sesiones de trabajo de COI esbozadas en amarillo abarcan las sesiones de trabajo virtuales. La información recopilada de estas discusiones influirá en el contenido desarrollado para el borrador preliminar del perfil Cyber AI. Crédito: ¡Esperamos tener noticias suyas durante las próximas sesiones de trabajo de COI! Como siempre, puede enviarnos un correo electrónico a Cyberaiprofile [at] nist.gov (cyberaiprofile[at]nist[dot]Gobierno). Y si aún no lo ha hecho, considere unirse a nuestro COI.