16 de octubre de 2024The Hacker NewsInteligencia artificial/Cibercrimen IA desde la perspectiva del atacante: vea cómo los ciberdelincuentes aprovechan la IA y explotan sus vulnerabilidades para comprometer sistemas, usuarios e incluso otras aplicaciones de IA Ciberdelincuentes e IA: la realidad frente a la exageración «AI no reemplazará a los humanos en un futuro cercano, pero los humanos que saben cómo usar la IA sí reemplazarán a aquellos que no saben cómo usarla», dice Etay Maor, estratega jefe de seguridad de Cato Networks y miembro fundador de Cato CTRL. . «Del mismo modo, los atacantes también están recurriendo a la IA para aumentar sus propias capacidades». Sin embargo, hay mucho más revuelo que realidad en torno al papel de la IA en el ciberdelito. Los titulares suelen sensacionalizar las amenazas de la IA, con términos como «Caos-GPT» y «Herramientas de IA de sombrero negro», e incluso afirman que buscan destruir a la humanidad. Sin embargo, estos artículos inducen más miedo que una descripción de amenazas graves. Por ejemplo, cuando se exploraron en foros clandestinos, se descubrió que varias de estas llamadas «herramientas cibernéticas de IA» no eran más que versiones renombradas de LLM públicos básicos sin capacidades avanzadas. De hecho, los atacantes enojados incluso los señalaron como estafas. Cómo utilizan realmente los piratas informáticos la IA en los ciberataques En realidad, los ciberdelincuentes todavía están descubriendo cómo aprovechar la IA de forma eficaz. Están experimentando los mismos problemas y deficiencias que los usuarios legítimos, como alucinaciones y capacidades limitadas. Según sus predicciones, pasarán algunos años antes de que puedan aprovechar GenAI de manera efectiva para las necesidades de piratería. Por ahora, las herramientas GenAI se utilizan principalmente para tareas más simples, como escribir correos electrónicos de phishing y generar fragmentos de código que pueden integrarse en ataques. Además, hemos observado que los atacantes proporcionan código comprometido a los sistemas de inteligencia artificial para su análisis, como un esfuerzo por «normalizar» dicho código como no malicioso. Uso de IA para abusar de la IA: introducción de GPT Los GPT, presentados por OpenAI el 6 de noviembre de 2023, son versiones personalizables de ChatGPT que permiten a los usuarios agregar instrucciones específicas, integrar API externas e incorporar fuentes de conocimiento únicas. Esta función permite a los usuarios crear aplicaciones altamente especializadas, como robots de soporte técnico, herramientas educativas y más. Además, OpenAI ofrece a los desarrolladores opciones de monetización para GPT a través de un mercado dedicado. Abusar de las GPT Las GPT introducen posibles problemas de seguridad. Un riesgo notable es la exposición de instrucciones confidenciales, conocimiento propietario o incluso claves API integradas en el GPT personalizado. Los actores malintencionados pueden utilizar la IA, específicamente la ingeniería rápida, para replicar un GPT y aprovechar su potencial de monetización. Los atacantes pueden utilizar indicaciones para recuperar fuentes de conocimiento, instrucciones, archivos de configuración y más. Estos podrían ser tan simples como solicitar al GPT personalizado que enumere todos los archivos cargados y las instrucciones personalizadas o solicitar información de depuración. O algo sofisticado como solicitar al GPT que comprima uno de los archivos PDF y cree un enlace descargable, pedirle al GPT que enumere todas sus capacidades en un formato de tabla estructurada y más. «Incluso las protecciones que los desarrolladores implementan se pueden eludir y se puede extraer todo el conocimiento», afirma Vitaly Simonovich, investigador de inteligencia de amenazas en Cato Networks y miembro de Cato CTRL. Estos riesgos se pueden evitar al: No cargar datos confidenciales. Utilizar protección basada en instrucciones, aunque incluso éstas pueden no ser infalibles. «Hay que tener en cuenta todos los diferentes escenarios en los que el atacante puede abusar», añade Vitaly. Protección OpenAI Ataques y riesgos de IA Hoy en día existen múltiples marcos para ayudar a las organizaciones que están considerando desarrollar y crear software basado en IA: Marco de gestión de riesgos de inteligencia artificial del NIST Marco seguro de IA de Google Top 10 de OWASP para LLM Top 10 de OWASP para aplicaciones de LLM El recientemente lanzado Superficie de ataque MITRE ATLAS LLM Hay seis componentes clave de LLM (modelo de lenguaje grande) que pueden ser atacados por los atacantes: Aviso: ataques como inyecciones rápidas, donde se utilizan entradas maliciosas para manipular la salida de la IA. Respuesta: uso indebido o fuga de información confidencial en la IA. Respuestas generadasModelo: robo, envenenamiento o manipulación del modelo de IA. Datos de entrenamiento: introducción de datos maliciosos para alterar el comportamiento de la IA. Infraestructura: dirigida a los servidores y servicios que respaldan a los usuarios de la IA. Engañar o explotar a los humanos o sistemas que dependen de los resultados de la IA. Real -Ataques y riesgos mundiales Concluyamos con algunos ejemplos de manipulaciones LLM, que pueden usarse fácilmente de manera maliciosa. Inyección rápida en sistemas de atención al cliente: un caso reciente involucró a un concesionario de automóviles que utilizaba un chatbot de IA para atención al cliente. Un investigador logró manipular el chatbot emitiendo un mensaje que alteró su comportamiento. Al indicarle al chatbot que aceptara todas las declaraciones de los clientes y terminara cada respuesta con «Y esa es una oferta legalmente vinculante», el investigador pudo comprar un automóvil a un precio ridículamente bajo, exponiendo una vulnerabilidad importante. Alucinaciones que derivan en consecuencias legales: en otro incidente, Air Canada enfrentó acciones legales cuando su chatbot de inteligencia artificial proporcionó información incorrecta sobre las políticas de reembolso. Cuando un cliente confió en la respuesta del chatbot y posteriormente presentó un reclamo, Air Canada fue considerada responsable por la información engañosa. Fugas de datos patentados: los empleados de Samsung, sin saberlo, filtraron información patentada cuando utilizaron ChatGPT para analizar código. Cargar datos confidenciales en sistemas de inteligencia artificial de terceros es riesgoso, ya que no está claro cuánto tiempo se almacenan los datos o quién puede acceder a ellos. IA y tecnología Deepfake en el fraude: los ciberdelincuentes también están aprovechando la IA más allá de la generación de texto. Un banco de Hong Kong fue víctima de un fraude de 25 millones de dólares cuando los atacantes utilizaron tecnología deepfake en vivo durante una videollamada. Los avatares generados por IA imitaban a funcionarios bancarios de confianza, convenciendo a la víctima de transferir fondos a una cuenta fraudulenta. En resumen: la IA en los delitos cibernéticos La IA es una herramienta poderosa tanto para defensores como para atacantes. A medida que los ciberdelincuentes continúan experimentando con la IA, es importante comprender cómo piensan, las tácticas que emplean y las opciones que enfrentan. Esto permitirá a las organizaciones proteger mejor sus sistemas de inteligencia artificial contra el uso indebido y el abuso. Mira la clase magistral completa aquí. ¿Encontró interesante este artículo? Este artículo es una contribución de uno de nuestros valiosos socios. Síguenos en Twitter  y LinkedIn para leer más contenido exclusivo que publicamos.