A principios de 2024, un sorprendente caso de fraude de Deepfake en Hong Kong llevó las vulnerabilidades del engaño impulsado por la IA en un fuerte alivio. Un empleado de finanzas fue engañado durante una videollamada por lo que parecía ser el CFO, pero de hecho era, de hecho, un sofisticado defake profundo generado por IA. Convencido de la autenticidad de la llamada, el empleado hizo 15 transferencias por un total de más de $ 25 millones a cuentas bancarias fraudulentas antes de darnos cuenta de que fue una estafa. Este incidente ejemplifica más que solo trucos tecnológicos, señala cómo la confianza en lo que vemos y escuchamos puede ser armado, especialmente a medida que AI se vuelve más integrado más profundamente integrado en las herramientas empresariales y los trabajos. Desde LLM integrados en sistemas empresariales hasta agentes autónomos diagnosticando e incluso reparando problemas en entornos en vivo, la IA está pasando de novedad a necesidad. Sin embargo, a medida que evoluciona, también lo hacen las brechas en nuestros marcos de seguridad tradicionales, diseñados para el código estático y escrito por los humanos, revelando cuán sin preparaciones somos para los sistemas que generan, se adaptan y se comportan de una manera impredecible. AI cambia la ecuación. Se puede generar una línea de código en la marcha mediante un modelo, conformado por indicaciones o datos manipulados, creando nuevas categorías impredecibles de riesgo como inyección rápida o comportamiento emergente fuera de las taxonomías tradicionales. Un estudio de Veracode 2025 encontró que el 45% de todas las vulnerabilidades de código de código AI contenían vulnerabilidades, con defensas comunes como los defensos débiles contra XSS y las inyecciones log. (Algunos idiomas tuvieron un desempeño más mal que otros. Más del 70% del código Java generado por IA tuvo un problema de seguridad, por ejemplo). Otro estudio de 2025 mostró que el refinamiento repetido puede empeorar las cosas: después de solo cinco iteraciones, las vulnerabilidades críticas aumentaron por 37.6%. Para mantener los pasos, los modelos de datos, como los datos de los datos, los datos más altos de los datos, como se han emergido el riesgo de datos, las medidas de datos, las medidas. servicio e inyección inmediata. Destacan cómo las taxonomías de seguridad actuales se quedan cortas, y por qué necesitamos nuevos enfoques que modelen las superficies de amenazas de IA, compartan incidentes y refinan iterativamente los marcos de riesgos para reflejar cómo el código es creado e influenciado por la IA. Lo que alguna vez requirió una experiencia técnica profunda ahora puede ser realizada por cualquier persona con un mensaje inteligente: generar scripts, lanzar campañas de phishing o manipular modelos. AI no solo amplía la superficie de ataque; Hace que sea más fácil y más barato que los atacantes tengan éxito sin escribir código. En 2025, los investigadores dieron a conocer PractLocker, el primer ransomware a IA. Aunque solo es una prueba de concepto, mostró cómo el robo y el cifrado podrían automatizarse con un LLM local a un costo notablemente bajo: aproximadamente $ 0.70 por ataque completo utilizando API comerciales, y esencialmente gratuitas con modelos de código abierto. Ese tipo de asequibilidad podría hacer que el ransomware sea más barato, más rápido y más escalable que nunca. Esta democratización del delito significa que los defensores deben prepararse para los ataques que son más frecuentes, más variados y más creativos. La matriz de amenaza de ML adversar, fundada por Ram Shankar Siva Kumar durante su tiempo en Microsoft, ayuda en enumerar las amenazas para el aprendizaje automático y ofrecer una forma estructurada de anticipar estos riesgos en evolución. (Discutirá la dificultad de asegurar los sistemas de IA de los adversarios en la próxima seguridad de seguridad de O’Reilly. Los líderes empresariales presionan la adopción rápida de la IA para mantenerse competitivos, mientras que los líderes de seguridad advierten que moverse demasiado rápido arriesga fallas catastróficas en el código en sí. Estas tensiones se amplifican por una brecha de habilidades ampliantes: la mayoría de los desarrolladores carecen de capacitación en seguridad de IA, y muchos profesionales de seguridad no entienden completamente cómo funcionan completamente. Como resultado, las viejas soluciones de mosaico se sienten cada vez más inadecuadas cuando los modelos escriben y ejecutan código por su cuenta. El aumento de la «codificación de vibos», en relación con las sugerencias de LLM sin revisión, captura este cambio. Acelera el desarrollo, pero introduce vulnerabilidades ocultas, dejando a los desarrolladores y defensores que luchan por manejar los riesgos novedosos. Desde la evitación hasta la adopción de resilienceai no se detendrá. El desafío es pasar de evitar a la resiliencia. Frameworks como Databricks ‘AI Risk Framework (DASF) y el marco de gestión de riesgos de IA NIST proporcionan una orientación práctica sobre la integración de la gobernanza y la seguridad directamente en las tuberías de IA, ayudando a las organizaciones a ir más allá de los defensas ad hoc hacia la resistencia sistemática. El objetivo no es eliminar el riesgo, sino para permitir la innovación mientras se mantiene la confianza en el código que la IA ayuda a producir. La transparencia y la responsabilidad de la responsabilidad muestran que el código generado por la IA a menudo es más simple y más repetitivo, pero también más vulnerable, con riesgos como credenciales densados y exploits de traversales de ruta. Sin herramientas de observabilidad, como registros rápidos, seguimiento de procedencia y senderos de auditoría, los desarrolladores no pueden garantizar la confiabilidad o la responsabilidad. En otras palabras, es más probable que el código generado por IA introduzca vulnerabilidades de seguridad de alto riesgo. La opacidad de AI compra el problema: una función puede parecer que «funciona» pero ocultar vulnerabilidades que son difíciles de rastrear o explicar. Sin explicación y salvaguardas, la autonomía se convierte rápidamente en una receta para sistemas inseguros. Herramientas como Mitre Atlas pueden ayudar mapeando tácticas adversas contra los modelos de IA, ofreciendo a los defensores una forma estructurada de anticipar y contrarrestar las amenazas. Preparar el código en la era de la IA requiere más que parches, significa romper silos, cerrar la habilidad de habilidad e incrustar la reiliencia en cada etapa de desarrollo. Los riesgos pueden parecer familiares, pero la IA los escala dramáticamente. Frameworks como Databricks ‘AI Risk Framework (DASF) y el marco de gestión de riesgos de IA NIST proporcionan estructuras para la gobernanza y la transparencia, mientras que MITER ATLAS mapea las tácticas adversas y las tácticas de ataques del mundo real, lo que brinda a los defensores una forma estructurada de anticipar y mitigar las amenazas con los sistemas de IA.
Deja una respuesta