El potencial ofensivo de los populares modelos de lenguaje grande (LLM) se puso a prueba en un nuevo estudio que encontró que GPT-4 era el único modelo capaz de escribir exploits viables para una variedad de CVE. El artículo de investigadores de la Universidad de Illinois Urbana -Champaign probó una serie de LLM populares, incluidos GPT-3.5 y GPT-4 de OpenAI, así como agentes líderes de código abierto de Mistral AI, Hugging Face y Meta. A los agentes se les dio una lista de 15 vulnerabilidades, que van desde medianas hasta gravedad crítica, para probar con qué éxito los LLM podrían escribir de forma autónoma código de explotación para CVE. Los investigadores adaptaron un mensaje específico para obtener los mejores resultados de los modelos que alentaron al agente a no darse por vencido y ser lo más creativo posible con su solución. Durante la prueba, los agentes tuvieron acceso a elementos de navegación web, una terminal, resultados de búsqueda, creación y edición de archivos, así como a un intérprete de código. Los resultados de la investigación encontraron que GPT-4 era el único modelo capaz de escribir con éxito un exploit para cualquiera de las vulnerabilidades de un día, con una tasa de éxito del 86,7%. Los autores señalaron que no tenían acceso a los rivales comerciales de GPT-4, como como Claude 3 de Anthropic o Gemini 1.5 Pro de Google, por lo que no pudieron comparar su rendimiento con el del buque insignia GPT-4 de OpenAI. Reciba nuestras últimas noticias, actualizaciones de la industria, recursos destacados y más. Regístrese hoy para recibir nuestro informe GRATUITO sobre seguridad y delitos cibernéticos de IA, recientemente actualizado para 2024. Los investigadores argumentaron que los resultados demuestran la «posibilidad de una capacidad emergente» en los LLM para explotar vulnerabilidades de un día, pero también que encontrar la vulnerabilidad en sí es una tarea más difícil que explotarla. GPT-4 era muy capaz cuando se le proporcionó una vulnerabilidad específica para explotar según el estudio. Con más funciones, incluida una mejor planificación, tamaños de respuesta más grandes y el uso de subagentes, podría volverse aún más capaz, dijeron los investigadores. De hecho, cuando se le dio un exploit de Astronomy RCE que se publicó después de la fecha límite de conocimiento de GPT-4, el agente aún pudo escribir código que aprovechó con éxito la vulnerabilidad, a pesar de su ausencia en el conjunto de datos de entrenamiento del modelo. La eliminación de las descripciones CVE paraliza significativamente las capacidades de sombrero negro de GPT-4. Si bien la capacidad de GPT-4 para el uso malicioso por parte de piratas informáticos puede parecer preocupante, el potencial ofensivo de los LLM permanece limitado por el momento, según la investigación, ya que incluso necesitaba acceso completo a la descripción CVE antes de poder crear un exploit viable. Sin esto, GPT-4 solo pudo reunir una tasa de éxito del 7%. Esta debilidad fue aún mayor subrayó cuando el estudio encontró que, aunque GPT-4 pudo identificar la vulnerabilidad correcta el 33% de las veces, su capacidad para explotar la falla sin más información era limitada: de las vulnerabilidades detectadas con éxito, GPT-4 solo pudo explotar una de ellos. Además, los investigadores probaron cuántas acciones realizó el agente cuando operaba con y sin la descripción CVE, observando que el número promedio de acciones solo difería en un 14%, lo que los autores atribuyeron a la longitud de la ventana de contexto del modelo. En declaraciones a ITPro, el presidente de la empresa de detección y respuesta gestionada CyberProof, Yuval Wollman, dijo que a pesar del creciente interés de los ciberdelincuentes en las capacidades ofensivas de los chatbots de IA, su eficacia sigue siendo limitada en este momento. “El aumento, en cientos de puntos porcentuales, en Las discusiones sobre ChatGPT en la web oscura muestran que algo está sucediendo, pero ¿se está traduciendo en ataques más efectivos? Todavía no”. Wollman dijo que el potencial ofensivo de los sistemas de inteligencia artificial está bien establecido, citando simulaciones anteriores realizadas con el malware BlackMamba impulsado por inteligencia artificial, pero argumentó que la madurez de estas herramientas no está lo suficientemente desarrollada como para que los actores de amenazas las adopten más ampliamente. En última instancia, Wollman cree que la IA tendrá un impacto significativo en la actual carrera armamentista entre los actores de amenazas y los profesionales de la seguridad, pero afirma que es demasiado pronto para responder a esa pregunta en este momento. “La gran pregunta sería cómo se desarrollará la revolución GenAI y las nuevas capacidades y Los motores que ahora se están discutiendo en la web oscura afectarían esta carrera armamentista. Creo que es demasiado pronto para responder a esa pregunta”.