Con la proliferación de tecnologías habilitadas para IA/ML para ofrecer valor empresarial, la necesidad de proteger la privacidad de los datos y proteger las aplicaciones de IA/ML de los riesgos de seguridad es primordial. Un modelo de marco de gobernanza de la IA como el NIST AI RMF para permitir la innovación empresarial y gestionar el riesgo es tan importante como adoptar directrices para proteger la IA. La IA responsable comienza con proteger la IA mediante el diseño y proteger la IA con principios de arquitectura Zero Trust. Vulnerabilidades en ChatGPT Una vulnerabilidad descubierta recientemente en la versión gpt-3.5-turbo expuso información identificable. La vulnerabilidad apareció en las noticias a finales de noviembre de 2023. Al repetir continuamente una palabra en particular al chatbot, se activó la vulnerabilidad. Un grupo de investigadores de seguridad de Google DeepMind, la Universidad de Cornell, CMU, UC Berkeley, ETH Zurich y la Universidad de Washington estudiaron la «memorización extraíble» de datos de entrenamiento que un adversario puede extraer consultando un modelo de ML sin conocimiento previo del entrenamiento. conjunto de datos. El informe de los investigadores muestra que un adversario puede extraer gigabytes de datos de entrenamiento de modelos de lenguaje de código abierto. En las pruebas de vulnerabilidad, un nuevo ataque de divergencia desarrollado en el ChatGPT alineado hizo que el modelo emitiera datos de entrenamiento 150 veces mayores. Los hallazgos muestran que los LLM más grandes y más capaces son más vulnerables a los ataques de extracción de datos y emiten más datos de entrenamiento memorizados a medida que aumenta el volumen. Si bien se han documentado ataques similares con modelos no alineados, la nueva vulnerabilidad ChatGPT expuso un ataque exitoso a modelos LLM típicamente construidos con estrictas barreras de seguridad que se encuentran en modelos alineados. Esto plantea preguntas sobre las mejores prácticas y métodos sobre cómo los sistemas de inteligencia artificial podrían proteger mejor los modelos LLM, crear datos de capacitación que sean confiables y dignos de confianza, y proteger la privacidad. Esfuerzo bilateral de ciberseguridad de EE. UU. y el Reino Unido para proteger la IA La Agencia de Seguridad e Infraestructura de Ciberseguridad de EE. UU. (CISA) y el Centro Nacional de Seguridad Cibernética (NCSC) del Reino Unido, en cooperación con 21 agencias y ministerios de otros 18 países, están apoyando las primeras directrices globales para la seguridad de la IA. Las nuevas directrices lideradas por el Reino Unido para proteger la IA como parte del esfuerzo bilateral de ciberseguridad de EE. UU. y el Reino Unido se anunciaron a finales de noviembre de 2023. El compromiso es un reconocimiento del riesgo de la IA por parte de los líderes nacionales y las agencias gubernamentales de todo el mundo y es el comienzo de la colaboración internacional. para garantizar la seguridad de la IA desde el diseño. Las directrices conjuntas del Departamento de Seguridad Nacional (DHS) CISA y el NCSC del Reino Unido para el desarrollo seguro de sistemas de IA tienen como objetivo garantizar que las decisiones de ciberseguridad estén integradas en cada etapa del ciclo de vida del desarrollo de la IA desde el principio y durante todo el proceso, y no como una ocurrencia tardía. Proteger la IA mediante el diseño Proteger la IA mediante el diseño es un enfoque clave para mitigar los riesgos de ciberseguridad y otras vulnerabilidades en los sistemas de IA. Garantizar que todo el proceso del ciclo de vida del desarrollo del sistema de IA sea seguro, desde el diseño hasta el desarrollo, la implementación, las operaciones y el mantenimiento, es fundamental para que una organización obtenga todos sus beneficios. Las pautas documentadas en las Directrices para el desarrollo seguro de sistemas de IA se alinean estrechamente con las prácticas del ciclo de vida del desarrollo de software definidas en la guía de implementación y desarrollo seguro del NSCS y el Marco de desarrollo de software seguro (SSDF) del Instituto Nacional de Estándares y Tecnología (NIST). Los 4 pilares que incorporan las Directrices para el desarrollo seguro de sistemas de IA ofrecen orientación a los proveedores de IA de cualquier sistema, ya sea creado desde cero o construido sobre herramientas y servicios proporcionados por otros. 1. Diseño seguro La etapa de diseño del ciclo de vida de desarrollo del sistema de IA cubre la comprensión de los riesgos y el modelado de amenazas y las compensaciones a considerar en el diseño del sistema y del modelo. Mantener conciencia sobre las amenazas de seguridad relevantes Educar a los desarrolladores sobre técnicas de codificación segura y mejores prácticas para proteger la IA en la etapa de diseño Evaluar y cuantificar la criticidad de las amenazas y vulnerabilidades Diseñar el sistema de IA para que tenga la funcionalidad, la experiencia del usuario, el entorno de implementación, el rendimiento, la garantía, la supervisión, la ética y Requisitos legales Seleccione la arquitectura del modelo de IA, la configuración, los datos de entrenamiento y el algoritmo de entrenamiento y los hiperparámetros utilizando datos del modelo de amenaza 2. Desarrollo seguro La etapa de desarrollo del ciclo de vida de desarrollo del sistema de IA proporciona pautas sobre la seguridad de la cadena de suministro, la documentación y la gestión de activos y deuda técnica. . Evaluar y asegurar la cadena de suministro del ecosistema del ciclo de vida del sistema de IA. Rastrear y proteger todos los activos con riesgos asociados. Documentar los componentes de hardware y software de los sistemas de IA, ya sean desarrollados internamente o adquiridos a través de otros desarrolladores y proveedores externos. Documentar las fuentes de datos de capacitación, la sensibilidad de los datos y las barreras de seguridad en su uso previsto y limitado Desarrollar protocolos para informar posibles amenazas y vulnerabilidades 3. Implementación segura La etapa de implementación del ciclo de vida de desarrollo del sistema de IA contiene pautas sobre la protección de la infraestructura y los modelos contra compromisos, amenazas o pérdidas, el desarrollo de procesos de gestión de incidentes y la liberación responsable. Asegure la infraestructura aplicando controles de acceso apropiados a las API, los modelos y los datos de IA, y a su proceso de capacitación y procesamiento, en I+D e implementación. Proteja el modelo de IA continuamente mediante la implementación de mejores prácticas estándar de ciberseguridad. Implemente controles para detectar y prevenir intentos de acceder, modificar, o exfiltrar información confidencial Desarrollar planes de respuesta, escalamiento y remediación de incidentes respaldados por registros de auditoría de alta calidad y otras características y capacidades de seguridad Evaluar puntos de referencia de seguridad y comunicar limitaciones y posibles modos de falla antes de lanzar sistemas generativos de IA 4. Operaciones y mantenimiento seguros Las operaciones y La etapa de mantenimiento del ciclo de vida de desarrollo del sistema de IA proporciona pautas sobre las acciones una vez que se ha implementado un sistema, lo que incluye registro y monitoreo, gestión de actualizaciones e intercambio de información. Monitorear el comportamiento del sistema modelo de IA Auditar el cumplimiento para garantizar que el sistema cumpla con los requisitos de privacidad y protección de datos Investigar incidentes, aislar amenazas y remediar vulnerabilidades Automatizar actualizaciones de productos con procedimientos de actualizaciones modulares seguras para distribución Compartir lecciones aprendidas y mejores prácticas para una mejora continua Proteger la IA con Principios de Zero Trust AI y ML han acelerado la adopción de Zero Trust. Un enfoque Zero Trust sigue los principios de no confiar en nada y verificarlo todo. Adopta el principio de imponer acceso con privilegios mínimos por solicitud para cada entidad: usuario, aplicación, servicio o dispositivo. De forma predeterminada, no se confía en ninguna entidad. Es el cambio del perímetro de seguridad tradicional donde cualquier cosa dentro del perímetro de la red se consideraba confiable a nada en lo que se puede confiar, especialmente con el aumento de los movimientos laterales y las amenazas internas. La adopción por parte de empresas y consumidores de múltiples nubes híbridas públicas y privadas en un mundo cada vez más móvil amplió la superficie de ataque de una organización con aplicaciones y servicios en la nube e Internet de las cosas (IoT). Zero Trust aborda el cambio de un modelo centrado en la ubicación a un enfoque más centrado en los datos para controles de seguridad granulares entre usuarios, dispositivos, sistemas, datos, aplicaciones, servicios y activos. Zero Trust requiere visibilidad y monitoreo y autenticación continuos de cada una de estas entidades para hacer cumplir las políticas de seguridad a escala. La implementación de la arquitectura Zero Trust incluye los siguientes componentes: Identidad y acceso: gobierne la gestión de identidades con controles de acceso condicional basados ​​en riesgos, autorización, contabilidad y autenticación, como MFA resistente al phishing. Gobernanza de datos: proporcione protección de datos con cifrado, DLP y clasificación de datos. basado en la política de seguridad Redes: cifrar las solicitudes de DNS y el tráfico HTTP dentro de su entorno. Aislar y contener con microsegmentación. Puntos finales: prevenga, detecte y responda a incidentes en dispositivos identificables e inventariados. Identificación y corrección de amenazas persistentes con protección de endpoints mediante ML. Habilite Zero Trust Access (ZTA) para admitir usuarios de acceso remoto en lugar de la VPN tradicional. Aplicaciones: API seguras, aplicaciones en la nube y cargas de trabajo en la nube en todo el ecosistema de la cadena de suministro. Automatización y orquestación: automatice acciones para eventos de seguridad. Orqueste una ejecución moderna para las operaciones y la respuesta a incidentes de forma rápida y eficaz. Visibilidad y análisis: monitoree con ML y análisis como UEBA para analizar el comportamiento del usuario e identificar actividades anómalas. Asegurar la IA para los humanos La base de una IA responsable es un enfoque centrado en el ser humano. Ya sea que naciones, empresas y organizaciones de todo el mundo estén esforzándose para proteger la IA a través de acuerdos conjuntos, directrices estándar internacionales y controles y conceptos técnicos específicos, no podemos ignorar que la protección de los humanos está en el centro de todo. Los datos personales son el ADN de nuestra identidad en el mundo digital hiperconectado. Los datos personales son información de identificación personal (PII) más allá del nombre, fecha de nacimiento, dirección, números de teléfono móvil, información médica, financiera, racial y religiosa, escritura a mano, huellas dactilares, imágenes fotográficas, videos y audio. También incluye datos biométricos como escaneos de retina, firmas de voz o reconocimiento facial. Estas son las características digitales que nos hacen a cada uno de nosotros únicos e identificables. La protección de datos y la preservación de la privacidad siguen siendo una prioridad absoluta. Los científicos de IA están explorando el uso de datos sintéticos para reducir el sesgo y crear un conjunto de datos equilibrado para aprender y entrenar sistemas de IA. Asegurar la IA para los humanos consiste en proteger nuestra privacidad, identidad, seguridad, confianza, derechos civiles, libertades civiles y, en última instancia, nuestra capacidad de supervivencia. Para obtener más información · Explore nuestros servicios de consultoría en ciberseguridad para ayudarle.

Source link