Subvertir los sistemas AIOPS a través de datos de entrada envenenados en este ataque de integridad de entrada contra un sistema de IA, los investigadores pudieron engañar a las herramientas AIOPS: AIOPS se refiere al uso de agentes basados en LLM para recopilar y analizar la telemetría de aplicación, incluidos los registros del sistema, las métricas de rendimiento, las trazas y las alertas, detectar problemas y luego sugerir o llevar a cabo acciones correctivas. Los gustos de Cisco han implementado AIOP en una interfaz de conversación que los administradores pueden usar para solicitar información sobre el rendimiento del sistema. Algunas herramientas AIOPS pueden responder a tales consultas implementando correcciones automáticamente o sugeriendo scripts que pueden abordar los problemas. Sin embargo, estos agentes pueden ser engañados mediante datos analíticos falsos para tomar acciones correctivas dañinas, incluida la degradación de un paquete instalado a una versión vulnerable. El documento: «Cuando AIOPS se convierte en» AI OOPS «: Subvertir las operaciones de TI impulsadas por LLM a través de la manipulación de telemetría»: Resumen: AI para operaciones de TI (AIOPS) está transformando cómo las organizaciones administran sistemas de software complejos al automatizar la detección de anomalías, el diagnóstico de incidentes y la remediación. Las soluciones modernas de AIOPS se basan cada vez más en agentes autónomos basados en LLM para interpretar los datos de telemetría y tomar acciones correctivas con una intervención humana mínima, prometiendo tiempos de respuesta más rápidos y ahorros de costos operativos. En este trabajo, realizamos el primer análisis de seguridad de las soluciones AIOPS, mostrando que, una vez más, la automatización impulsada por la IA viene con un profundo costo de seguridad. Demostramos que los adversarios pueden manipular la telemetría del sistema para engañar a los agentes de AIOP para tomar acciones que comprometan la integridad de la infraestructura que manejan. Introducimos técnicas para inyectar datos de telemetría de manera confiable utilizando solicitudes de inducción de errores que influyen en el comportamiento del agente a través de una forma de hacinamiento de recompensas adversas; interpretaciones de errores del sistema plausibles pero incorrectos que dirigen la toma de decisiones del agente. Nuestra metodología de ataque, AIOPSDoom, está completamente automatizada (combinación de reconocimiento, confuso y generación de entrada adversas a LLM) y opera sin ningún conocimiento previo del sistema objetivo. Para contrarrestar esta amenaza, proponemos AIOPSShield, un mecanismo de defensa que desinfecta los datos de telemetría al explotar su naturaleza estructurada y el papel mínimo del contenido generado por el usuario. Nuestros experimentos muestran que AiopsShield bloquea de manera confiable los ataques basados en la telemetría sin afectar el rendimiento normal del agente. En última instancia, este trabajo expone AIOP como un vector de ataque emergente para el compromiso del sistema y subraya la necesidad urgente de un diseño de AIOPS con conocimiento de seguridad. Etiquetas: Documentos académicos, IA, CyberAttack, Integrity, LLM publicado el 20 de agosto de 2025 a las 7:02 am • 3 comentarios
Deja una respuesta