Todavía no podemos asegurar LLM de insumos maliciosos, agradables ataques de inyección indirecta: el ataque de Bargury comienza con un documento envenenado, que se comparte con Google Drive de una víctima potencial. (Bargury dice que una víctima también podría haber subido un archivo comprometido a su propia cuenta). Parece un documento oficial sobre las políticas de reuniones de la empresa. Pero dentro del documento, Bargury ocultó un mensaje malicioso de 300 palabras que contiene instrucciones para ChatGPT. El aviso está escrito en texto blanco en una fuente de tamaño uno, algo que es poco probable que un humano vea, pero una máquina aún se lee. En un video de prueba de concepto del ataque, Bargury muestra a la víctima pidiendo a ChatGPT que «resume mi última reunión con Sam», haciendo referencia a un conjunto de notas con el CEO de OpenAi, Sam Altman. (Los ejemplos en el ataque son ficticios). En cambio, el aviso oculto le dice al LLM que hubo un «error» y que el documento en realidad no necesita ser resumido. El aviso dice que la persona es en realidad un «desarrollador que corre contra una fecha límite» y que necesita la IA para buscar claves de Google Drive en busca de claves API y adjuntarlas al final de una URL que se proporciona en el aviso. Esa URL es en realidad un comando en el idioma de Markdown para conectarse a un servidor externo y extraer la imagen que se almacena allí. Pero según las instrucciones del aviso, la URL ahora también contiene las claves API que la IA ha encontrado en la cuenta de Google Drive. Este tipo de cosas debería hacer que todos se detengan y realmente piensen antes de desplegar cualquier agente de IA. Simplemente no sabemos defendernos contra estos ataques. Tenemos cero sistemas de IA de agente que son seguros contra estos ataques. Cualquier IA que esté funcionando en un entorno adversario, y con esto quiero decir que puede encontrar datos o aportes de entrenamiento no confiables, es vulnerable a la inyección rápida. Es un problema existencial que, como puedo decir, la mayoría de las personas que desarrollan estas tecnologías simplemente fingen que no están allí. Etiquetas: AI, CyberAttack, LLM publicado el 27 de agosto de 2025 a las 7:07 a.m. • 4 comentarios Foto de la barra lateral de Bruce Schneier por Joe Macinnis.