Dado el nivel de actividad de la industria tecnológica en inteligencia artificial (IA), si aún no lo han hecho, la mayoría de los líderes de TI tendrán que considerar las implicaciones de seguridad de tales sistemas que se ejecutan libremente en sus organizaciones. Los riesgos reales de la IA son que ofrece a los empleados un fácil acceso a herramientas poderosas y la confianza implícita en muchos lugares en los resultados generados por IA. Javvad Malik, defensor de la conciencia de seguridad en KnowBe4, insta a los líderes de TI y seguridad a abordar ambos. While the possibility of an AI system compromise might seem remote, Malik warns that the bigger immediate risk comes from employees making decisions based on AI-generated content without proper verification.“Think of AI as an exceptionally confident intern. It’s helpful and full of suggestions, but requires oversight and verification,” he says.“There’s internal data leakage – oversharing – which occurs when you ask the model a question and it gives an internal user information that it shouldn’t share. And then Hay una fuga de datos externa «, dice Heinen.» Si piensa en un modelo de IA como un nuevo empleado que acaba de entrar en la empresa, ¿les da acceso a todo, no confía en ellos gradualmente con el tiempo, ya que demuestran la confianza y la capacidad de hacer tareas «, dice? «Ya no se trata solo de fuga de datos, aunque eso sigue siendo una preocupación significativa», dice. «Ahora estamos navegando por el territorio donde los sistemas de IA pueden verse comprometidos, manipulados o incluso ‘jugados’, para influir en las decisiones comerciales». Si bien la manipulación de IA maliciosa generalizada no es ampliamente evidente, el potencial para tales ataques existe y crece a medida que las organizaciones se vuelven más dependientes de estos sistemas. En la conferencia RSA, a partir de este año, la seguridad de TI Guru, cuestionó el imparte de las respuestas, que proporciona los sistemas más que proporcionan los sistemas que, al día, que proporciona los sistemas de la seguridad, que es un Guru, que cuestiona el imparste de las respuestas de las respuestas, que proporciona los sistemas más que, que proporciona los sistemas de la RSA. Chatbot recomienda una aerolínea o hotel en particular, ¿es porque es realmente el mejor trato o porque la compañía de IA está recibiendo un soborno para la recomendación? Las salvaguardas de seguridad existe un acuerdo general de la industria de que los jefes de seguridad de TI y los líderes empresariales deben trabajar para desarrollar marcos que adopten el valor de la IA al tiempo que incorporan salvaguardas necesarias y apropiadas. Malik dice que esto debería incluir proporcionar herramientas de IA autorizadas y autorizadas que satisfagan las necesidades de los empleados al implementar procesos de verificación para resultados generados por IA. Piense en la IA como un pasante excepcionalmente seguro. Es útil y lleno de sugerencias, pero requiere supervisión y verificación de Javvad Malik, también se necesitan salvaguardas de KnowBe4 para evitar el potencial de la pérdida de datos. Aditya K Sood, vicepresidenta de ingeniería de seguridad y estrategia de IA en Aryaka, recomienda que las personas encargadas de la seguridad de la información actualicen las políticas de uso aceptable existentes para abordar el uso de herramientas de IA, prohibiendo explícitamente la entrada de datos de la compañía sensibles, confidenciales o propietarios en modelos públicos o no apropiados de IA. SOOD recomienda que las políticas definan claramente lo que constituye datos «sensibles» en el contexto de la IA, y aquellas políticas que cubren el manejo de datos también deben detallar los requisitos para la anononimia, la seudononimia y la tokenización de los datos utilizados para la capacitación del modelo de IA interna o el ajuste fino. «Los datos confidenciales podrían incluir información personal del cliente, registros financieros o secretos comerciales», dice. Junto con los cambios en las políticas, SOOD insta a los tomadores de decisiones de TI a centrarse en la integridad y seguridad del sistema de inteligencia artificial al implementar prácticas de seguridad en toda la tubería de desarrollo de la IA. Para Brian Fox, cofundador y director de tecnología de Sonatype, el desafío de seguridad es que los modelos de IA son cajas negras efectivamente construidas a partir de conjuntos de datos masivos y opacos y procesos de capacitación difícil de trazar. «Incluso cuando los conjuntos de datos o los parámetros de ajuste están disponibles, a menudo son demasiado grandes para auditar», dice. Los comportamientos maliciosos pueden ser entrenados en, intencionalmente o no, y la naturaleza no determinista de la IA hace imposible las pruebas exhaustivas. Lo que hace que AI sea poderoso también lo hace impredecible y arriesgado, advierte. Dado que la salida producida por un sistema de IA está directamente relacionada con los datos de entrada en los que está capacitado, SOOD insta a los tomadores de decisiones a garantizar que implementen filtros y validadores fuertes para todos los datos que ingresan al sistema de IA. Los modelos de inteligencia artificial deben ser probados rigurosamente para obtener vulnerabilidades, como inyección inmediata, envenenamiento de datos e inversión del modelo, dice, para evitar ataques adversos. Del mismo modo, para evitar inyecciones maliciosas, Sood le aconseja a los líderes que se aseguren de que los resultados generados por IA se desinfecten y validen antes de ser presentados a los usuarios o usados en sistemas aguas abajo. Siempre que sea factible, dice que los sistemas deben implementarse con capacidades de IA explicables, lo que permite la transparencia en cómo se toman las decisiones. El sesgo es uno de los riesgos más sutiles y peligrosos de los sistemas de IA. Como señala Fox, los datos de entrenamiento sesgados o incompletos en defectos sistémicos. Las empresas están implementando modelos poderosos sin comprender completamente cómo funcionan o cómo sus resultados podrían afectar a las personas reales. Fox advierte que los líderes de TI deben considerar las implicaciones de desplegar modelos opacos, que hacen que el sesgo sea difícil de detectar y casi imposible de arreglar. «Si se usa un modelo sesgado en la contratación, préstamos o atención médica, puede reforzar silenciosamente los patrones dañinos bajo la apariencia de objetividad. Aquí es donde la naturaleza de la caja negra de la IA se convierte en una responsabilidad», dice. Para las decisiones de alto riesgo, Sood insta a los CIO a exigir la supervisión humana para manejar datos confidenciales o realizar operaciones irreversibles como una forma de proporcionar una salvaguardia final contra la producción de IA comprometida. Además de asegurar datos y capacitación de IA, los líderes de TI también deben trabajar para establecer tuberías de desarrollo de IA resistentes y seguras. «Asegurar las tuberías de desarrollo de IA es primordial para garantizar la confiabilidad y la resiliencia de las aplicaciones de IA integradas en la infraestructura de red crítica, los productos de seguridad y las soluciones de colaboración. Necesita la incrustación de seguridad en todo el ciclo de vida de la IA», dice. Esto incluye el código para la inteligencia artificial generativa (Genai), donde los modelos y los conjuntos de datos de capacitación son parte de la cadena de suministro de software moderna. Insta a los líderes de TI a proporcionar ai seguras para las tuberías de operaciones de TI (AIOPS) con las mejores prácticas de integración continua/entrega continua (CI/CD), firma de código y verificaciones de integridad de modelos. Esto debe incluir conjuntos de datos de capacitación de escaneo y artefactos modelo para código malicioso o pesas troyadas, y examinar modelos y bibliotecas de terceros para el cumplimiento de la licencia y el cumplimiento de la licencia. Dada la creciente apertura de los modelos de IA, que fomenta la transparencia, la colaboración y la iteración más rápida en la comunidad de IA, Fox señala que los modelos de IA siguen siendo software. Este software puede incluir extensas bases de código, dependencias y tuberías de datos. «Al igual que cualquier proyecto de código abierto, pueden albergar vulnerabilidades, componentes obsoletos o incluso traseros ocultos que escalan con la adopción», advierte. En la experiencia de Fox, muchas organizaciones aún no tienen las herramientas o procesos para detectar dónde se están utilizando modelos de IA en su software. Sin visibilidad en la adopción del modelo, ya sea integrado en aplicaciones, tuberías o interfaces de programación de aplicaciones (API), la gobernanza es imposible. «No puedes manejar lo que no puedes ver», dice. Como tal, Fox sugiere que los líderes de TI deberían establecer la visibilidad en el uso de la IA. En general, se aconseja a los líderes de TI y seguridad que implementen un marco integral de gobernanza de IA (ver consejos para una caja de estrategia de IA segura). Elliott Wilkes, CTO de Advanced Cyber Defense Systems, dice: «Los CISO deben defender la creación de un marco de gobernanza de IA de toda la empresa que incorpora la seguridad desde el principio». Él dice que los riesgos de IA deben entrelazarse en las prácticas de gestión de riesgos y cumplimiento de toda la empresa. El marco de gobernanza necesita definir roles y responsabilidades explícitos para el desarrollo de la IA, el despliegue y la supervisión para establecer un proceso de gestión de riesgos centrado en la IA. Recomienda colocar un inventario centralizado de herramientas de IA aprobadas, que debe incluir clasificaciones de riesgos. «El marco de gobernanza ayuda sustancialmente a administrar el riesgo asociado con la IA de la sombra: el uso de herramientas o servicios de IA no autorizados», agrega. Y finalmente, los equipos de TI deben exigir que solo se ejecutan herramientas de IA aprobadas en la organización. Todas las demás herramientas y servicios de IA deben bloquearse. Heiner de Gartner recomienda que CISOS adopte un enfoque basado en el riesgo. Herramientas como la detección de malware o los correctores ortográficos no tienen un alto riesgo, mientras que los sistemas de recursos humanos o de seguridad conllevan un riesgo mucho mayor. «Al igual que con todo lo demás, no todas las IA que operan en su entorno es un componente crítico o un alto riesgo», dice. «Si estás usando AI para contratar personas, probablemente sea un área al que quieras prestar atención», agrega. «Si está utilizando AI para monitorear la seguridad en una fábrica, es posible que desee prestarle más atención».