Inteligencia artificial y aprendizaje automático, tecnologías de próxima generación y desarrollo seguro Los piratas informáticos podrían explotar un error para manipular el LLM de Slack AI para robar datosRashmi Ramesh (rashmiramesh_) • 23 de agosto de 2024 Imagen: Shutterstock La aplicación de chat Slack parcheó una vulnerabilidad en su conjunto de herramientas de inteligencia artificial que los piratas informáticos podrían haber explotado para manipular un gran modelo de lenguaje subyacente para suplantar a los empleados y robar datos confidenciales. Ver también: La hoja de ruta de selección de SIEM: cinco características que definen la ciberseguridad de próxima generación El cliente de texto propiedad de Salesforce ofrece Slack AI como un servicio complementario. Dice que la función utiliza los «datos de conversación que ya están en Slack para crear una experiencia de IA intuitiva y segura adaptada a usted y su organización». Los investigadores de PromptArmor encontraron una falla en forma de vulnerabilidad de inyección rápida. Las fallas de inyección rápida existen porque los LLM no pueden reconocer si una instrucción es maliciosa o no. “Por lo tanto, si la IA de Slack ingiere alguna instrucción a través de un mensaje, si esa instrucción es maliciosa, la IA de Slack tiene una alta probabilidad de seguir esa instrucción en lugar de, o además de, la consulta del usuario”, dijeron los investigadores. Los piratas informáticos con una cuenta de espacio de trabajo de Slack podrían haber explotado la falla para robar archivos comerciales o datos confidenciales compartidos en la plataforma de colaboración simplemente consultando a la herramienta de IA para que los obtenga por ellos, lo que presenta un riesgo significativo de exposición de datos, dijeron los investigadores. Cuando se le solicita, la IA de Slack recupera datos de canales públicos y privados, incluso aquellos de los que el empleado que realiza la consulta no forma parte. Esto puede exponer claves API y datos confidenciales de clientes en canales privados, que un pirata informático puede potencialmente exfiltrar y abusar. Los actores maliciosos también podrían haber explotado la falla para inyectar indicaciones maliciosas para suplantar a los empleados para obtener un acceso más amplio a la organización objetivo. Los lugares de trabajo pueden conectar Slack al almacenamiento de terceros, lo que aumenta el área de superficie de riesgo para la última falla. Los piratas informáticos podrían inyectar instrucciones maliciosas en los documentos. “El problema aquí es que el área de superficie de ataque se vuelve fundamentalmente extremadamente amplia. Ahora, en lugar de que un atacante tenga que publicar una instrucción maliciosa en un mensaje de Slack, es posible que ni siquiera tenga que estar en Slack”, dijeron los investigadores. El equipo de PromptArmor dijo que el ataque es “muy difícil” de rastrear, ya que Slack AI no cita el mensaje del atacante como fuente del resultado. Los investigadores recomendaron cambiar la configuración de Slack AI para restringir el análisis de documentos para limitar el acceso a información confidencial. Dijeron que revelaron la vulnerabilidad a Slack el 14 de agosto y trabajaron con la empresa para solucionar el problema durante el período de una semana. Slack describió la falla a los investigadores como “comportamiento intencionado”, dijeron los investigadores. En una publicación de blog, Slack dijo que era un error de baja gravedad que podría permitir a un pirata informático con una cuenta en el mismo espacio de trabajo suplantar a los usuarios para obtener “ciertos datos” en “circunstancias muy limitadas y específicas”. Slack dijo que no hay evidencia de acceso no autorizado o explotación de datos de clientes en este momento. URL de la publicación original: https://www.databreachtoday.com/slack-patches-prompt-injection-flaw-in-ai-tool-set-a-26132