Utilizar modelos de lenguaje grandes (LLM) como armas para conectar transacciones que involucran datos de cuentas bancarias es la última amenaza al alcance de cualquier atacante que utilice IA como parte de su oficio. Los LLM ya se están utilizando como arma para crear campañas de phishing convincentes, lanzar ataques coordinados de ingeniería social y crear cepas de ransomware más resistentes. El equipo de Threat Intelligence de IBM llevó los escenarios de ataque LLM un paso más allá e intentó secuestrar una conversación en vivo, reemplazando detalles financieros legítimos con instrucciones fraudulentas. Todo lo que se necesitó fueron tres segundos de la voz grabada de alguien para tener datos suficientes para capacitar a los LLM para respaldar el ataque de prueba de concepto (POC). IBM llama al diseño del POC “terriblemente fácil”. La otra parte involucrada en la llamada no identificó las instrucciones financieras ni la información de la cuenta como fraudulentas. Armar los LLM para ataques basados ​​en audio El jacking de audio es un nuevo tipo de ataque generativo basado en IA que brinda a los atacantes la capacidad de interceptar y manipular conversaciones en vivo sin ser detectados por ninguna de las partes involucradas. Utilizando técnicas simples para volver a capacitar a los LLM, los investigadores de IBM Threat Intelligence pudieron manipular transacciones de audio en vivo con IA de generación. Su prueba de concepto funcionó tan bien que ninguna de las partes involucradas en la conversación se dio cuenta de que su discusión estaba siendo intervenida. Evento VB The AI ​​Impact Tour – Nueva York Estaremos en Nueva York el 29 de febrero en asociación con Microsoft para discutir cómo equilibrar los riesgos y las recompensas de las aplicaciones de IA. Solicite una invitación al evento exclusivo a continuación. Solicitar una invitación Utilizando una conversación financiera como caso de prueba, Threat Intelligence de IBM pudo interceptar una conversación en curso y manipular las respuestas en tiempo real utilizando un LLM. La conversación se centró en desviar dinero a una cuenta adversaria falsa en lugar del destinatario previsto, todo sin que los oradores de la llamada supieran que su transacción había sido comprometida. El equipo de Threat Intelligence de IBM dice que el ataque fue bastante fácil de crear. La conversación se modificó tan bien que ninguna de las partes involucradas identificó las instrucciones para desviar dinero a una cuenta adversaria falsa en lugar del destinatario previsto. Intercambio de palabras clave utilizando «cuenta bancaria» como disparador. El uso de IA genérica para identificar e interceptar palabras clave y reemplazarlas en contexto es la esencia de cómo funciona el jacking de audio. Su prueba de concepto logró eliminar la palabra “cuenta bancaria”, por ejemplo, y reemplazarla con datos de cuentas bancarias maliciosos y fraudulentos. Chenta Lee, arquitecto jefe de inteligencia de amenazas de IBM Security, escribe en su blog publicado el 1 de febrero: “Para los fines del experimento, la palabra clave que utilizamos fue ‘cuenta bancaria’, por lo que cada vez que alguien mencionaba su cuenta bancaria, le instruíamos el LLM para reemplazar su número de cuenta bancaria por uno falso. Con esto, los actores de amenazas pueden reemplazar cualquier cuenta bancaria por la suya, utilizando una voz clonada, sin que nadie se dé cuenta. Es similar a transformar a las personas en la conversación en muñecos títeres y, debido a la preservación del contexto original, es difícil de detectar”. “Construir esta prueba de concepto (PoC) fue sorprendente y aterradoramente fácil. Pasamos la mayor parte del tiempo descubriendo cómo capturar audio desde el micrófono y enviarlo a la IA generativa. Anteriormente, lo difícil sería captar la semántica de la conversación y modificar la frase correctamente. Sin embargo, los LLM hacen que analizar y comprender la conversación sea extremadamente fácil”, escribe Lee. Con esta técnica, cualquier dispositivo que pueda acceder a un LLM se puede utilizar para lanzar un ataque. IBM se refiere al jacking de audio como un ataque silencioso. Lee escribe: “Podemos llevar a cabo este ataque de varias maneras. Por ejemplo, podría deberse a un malware instalado en los teléfonos de las víctimas o a un servicio de voz sobre IP (VoIP) malicioso o comprometido. También es posible que los actores de amenazas llamen a dos víctimas simultáneamente para iniciar una conversación entre ellas, pero eso requiere habilidades avanzadas de ingeniería social”. El corazón de un conector de audio comienza con LLM capacitados. IBM Threat Intelligence creó su prueba de concepto utilizando un enfoque de intermediario que hizo posible monitorear una conversación en vivo. Usaron voz a texto para convertir voz en texto y un LLM para obtener el contexto de la conversación. El LLM fue capacitado para modificar la oración cuando alguien dijera «cuenta bancaria». Cuando el modelo modificaba una oración, utilizaba texto a voz y voces preclonadas para generar y reproducir audio en el contexto de la conversación actual. Los investigadores proporcionaron el siguiente diagrama de secuencia que muestra cómo su programa altera el contexto de las conversaciones sobre la marcha, haciéndolo ultrarrealista para ambas partes. Fuente: IBM Security Intelligence: Audio-jacking: Usando IA generativa para distorsionar transacciones de audio en vivo, 1 de febrero de 2024 Evitar el conector de audio El POC de IBM señala la necesidad de una vigilancia aún mayor cuando se trata de ataques basados ​​en ingeniería social que duran solo tres segundos de la voz de una persona se puede utilizar para entrenar un modelo. El equipo de IBM Threat Intelligence señala que la técnica de ataque hace que aquellos menos equipados para enfrentar ataques cibernéticos sean los más propensos a convertirse en víctimas. Los pasos para una mayor vigilancia contra la piratería de audio incluyen: Asegúrese de parafrasear y repetir la información. Si bien los avances de la generación de IA han sido impresionantes en su capacidad para automatizar el mismo proceso una y otra vez, no es tan eficaz para comprender la intuición humana comunicada a través del lenguaje natural. Esté atento a las conversaciones financieras que suenen un poco fuera de lugar o que carezcan del ritmo de decisiones anteriores. Repetir y parafrasear materiales y pedir confirmación de diferentes contextos es un comienzo. La seguridad se adaptará para identificar audio falso. Lee dice que las tecnologías para detectar falsificaciones profundas continúan acelerándose. Dado el impacto que los deepfakes están teniendo en todos los ámbitos de la economía, desde el entretenimiento y los deportes hasta la política, se espera ver una rápida innovación en este ámbito. Los secuestros silenciosos con el tiempo serán el foco principal de las nuevas inversiones en I+D, especialmente por parte de las instituciones financieras. Las mejores prácticas resisten la prueba del tiempo como primera línea de defensa. Lee señala que para que los atacantes tengan éxito con este tipo de ataque, el enfoque más sencillo es comprometer el dispositivo de un usuario, como su teléfono o computadora portátil. Añadió que “el phishing, la explotación de vulnerabilidades y el uso de credenciales comprometidas siguen siendo los principales vectores de amenazas elegidos por los atacantes, lo que crea una línea defendible para los consumidores, al adoptar las mejores prácticas conocidas hoy en día, que incluyen no hacer clic en enlaces sospechosos ni abrir archivos adjuntos, actualizar software y utilizar una estricta higiene de contraseñas”. OnUse dispositivos y servicios confiables. Los dispositivos no seguros y los servicios en línea con seguridad débil serán objetivos de intentos de ataque de conector de audio. Sea selectivo, bloquee los servicios y dispositivos que utiliza su organización y mantenga los parches actualizados, incluidas las actualizaciones de software. Adopte una mentalidad de confianza cero en cualquier dispositivo o servicio y asuma que ha sido vulnerado y que se debe aplicar rigurosamente el acceso con privilegios mínimos. La misión de VentureBeat es ser una plaza digital para que los tomadores de decisiones técnicas adquieran conocimientos sobre tecnología empresarial transformadora y realicen transacciones. Descubra nuestros Briefings.

Source link