Investigadores del Laboratorio SPARK de la Universidad de Texas en Austin han identificado un nuevo método de ciberataque denominado ConfusedPilot, que apunta a sistemas de inteligencia artificial basados ​​en generación aumentada de recuperación (RAG), como Microsoft 365 Copilot. El equipo, dirigido por el profesor Mohit Tiwari, director ejecutivo de Symmetry Systems, descubrió cómo los atacantes podrían manipular las respuestas generadas por la IA introduciendo contenido malicioso en documentos a los que la IA hace referencia. Esto podría generar información errónea y una toma de decisiones errónea en todas las organizaciones. Dado que el 65% de las empresas Fortune 500 adoptan o planean implementar sistemas basados ​​en RAG, el potencial de una disrupción generalizada es significativo. El método de ataque ConfusedPilot requiere sólo acceso básico al entorno del objetivo y puede persistir incluso después de que se elimine el contenido malicioso. Los investigadores también demostraron que el ataque podría eludir las medidas de seguridad de IA existentes, lo que genera preocupación en todas las industrias. Cómo funciona ConfusedPilot Envenenamiento del entorno de datos: un atacante agrega contenido especialmente diseñado a los documentos indexados por el sistema de IA Recuperación de documentos: cuando se realiza una consulta, la IA hace referencia al documento contaminado Interpretación errónea de la IA: la IA utiliza el contenido malicioso como instrucciones, ignorando potencialmente las legítimas información, generar información errónea o atribuir falsamente su respuesta a fuentes creíbles Persistencia: incluso después de eliminar el documento malicioso, la información corrupta puede permanecer en el sistema El ataque es especialmente preocupante para las grandes empresas que utilizan sistemas de inteligencia artificial basados ​​en RAG, que a menudo dependen de múltiples usuarios fuentes de datos. Esto aumenta el riesgo de ataque, ya que la IA puede manipularse utilizando documentos aparentemente inofensivos agregados por personas internas o socios externos. «Uno de los mayores riesgos para los líderes empresariales es tomar decisiones basadas en datos inexactos, borradores o incompletos, lo que puede provocar la pérdida de oportunidades, pérdida de ingresos y daños a la reputación», explicó Stephen Kowski, director de tecnología de campo de SlashNext. «El ataque ConfusedPilot resalta este riesgo al demostrar cómo los sistemas RAG pueden ser manipulados mediante contenido malicioso o engañoso en documentos que no se presentaron originalmente al sistema RAG, lo que hace que las respuestas generadas por IA se vean comprometidas». Lea más sobre la seguridad de la IA empresarial: Profesionales tecnológicos destacan estrategias críticas de mitigación de brechas en las habilidades de seguridad de la IA Para defenderse de ConfusedPilot, los investigadores recomiendan: Controles de acceso a datos: limitar quién puede cargar o modificar documentos a los que hacen referencia los sistemas de IA Auditorías de datos: controles regulares para garantizar la integridad de datos almacenados Segmentación de datos: Aislar información confidencial para evitar la propagación de datos comprometidos Herramientas de seguridad de IA: Usar herramientas que monitorean los resultados de IA para detectar anomalías Supervisión humana: Garantizar la revisión humana del contenido generado por IA antes de tomar decisiones críticas «Para integrar con éxito herramientas de seguridad y automatización, las organizaciones deberían comenzar por evaluar la efectividad de estas herramientas en sus contextos específicos», explicó Amit Zimerman, cofundador y director de producto de Oasis Security. «En lugar de dejarse influenciar por afirmaciones de marketing, los equipos deben probar las herramientas con datos del mundo real para asegurarse de que proporcionen información procesable y descubran amenazas nunca antes vistas».