Una encuesta reciente a 500 profesionales de seguridad realizada por HackerOne, una plataforma de investigación de seguridad, descubrió que el 48% cree que la IA representa el riesgo de seguridad más significativo para su organización. Entre sus mayores preocupaciones relacionadas con la IA se incluyen: Datos de entrenamiento filtrados (35%). Uso no autorizado (33%). El hackeo de modelos de IA por parte de terceros (32%). Estos temores resaltan la necesidad urgente de que las empresas reevalúen sus estrategias de seguridad de IA antes de que las vulnerabilidades se conviertan en amenazas reales. Cobertura de seguridad de lectura obligada La IA tiende a generar falsos positivos para los equipos de seguridad Si bien el Informe Hacker Powered Security completo no estará disponible hasta finales de este otoño, una investigación adicional de un informe del SANS Institute patrocinado por HackerOne reveló que el 58% de los profesionales de seguridad creen que los equipos de seguridad y los actores de amenazas podrían encontrarse en una «carrera armamentista» para aprovechar las tácticas y técnicas de IA generativa en su trabajo. Los profesionales de seguridad en la encuesta de SANS dijeron que han tenido éxito usando IA para automatizar tareas tediosas (71%). Sin embargo, los mismos participantes reconocieron que los actores de amenazas podrían explotar la IA para hacer que sus operaciones sean más eficientes. En particular, los encuestados “estaban más preocupados por las campañas de phishing impulsadas por IA (79%) y la explotación automatizada de vulnerabilidades (74%)”. VER: Los líderes de seguridad se están frustrando con el código generado por IA. “Los equipos de seguridad deben encontrar las mejores aplicaciones para la IA para mantenerse al día con los adversarios y al mismo tiempo considerar sus limitaciones existentes, o corren el riesgo de crear más trabajo para ellos mismos”, dijo Matt Bromiley, analista del SANS Institute, en un comunicado de prensa. ¿La solución? Las implementaciones de IA deben someterse a una revisión externa. Más de dos tercios de los encuestados (68%) eligieron la “revisión externa” como la forma más efectiva de identificar problemas de seguridad y protección de la IA. “Los equipos ahora son más realistas sobre las limitaciones actuales de la IA” de lo que eran el año pasado, dijo el arquitecto de soluciones sénior de HackerOne, Dane Sherrets, en un correo electrónico a TechRepublic. “Los humanos aportan mucho contexto importante a la seguridad defensiva y ofensiva que la IA aún no puede replicar. Problemas como las alucinaciones también han hecho que los equipos duden en implementar la tecnología en sistemas críticos. Sin embargo, la IA sigue siendo excelente para aumentar la productividad y realizar tareas que no requieren un contexto profundo”. Otros hallazgos de la encuesta de IA 2024 de SANS, publicada este mes, incluyen: El 38% planea adoptar IA dentro de su estrategia de seguridad en el futuro. El 38,6% de los encuestados dijo que se ha enfrentado a deficiencias al usar IA para detectar o responder a amenazas cibernéticas. El 40% cita implicaciones legales y éticas como un desafío para la adopción de IA. El 41,8% de las empresas se ha enfrentado al rechazo de los empleados que no confían en las decisiones de IA, lo que SANS especula que se debe «a la falta de transparencia». El 43% de las organizaciones utilizan actualmente IA dentro de su estrategia de seguridad. La tecnología de IA dentro de las operaciones de seguridad se utiliza con mayor frecuencia en sistemas de detección de anomalías (56,9%), detección de malware (50,5%) y respuesta automatizada a incidentes (48,9%). El 58% de los encuestados dijo que los sistemas de IA tienen dificultades para detectar nuevas amenazas o responder a indicadores atípicos, lo que SANS atribuye a la falta de datos de entrenamiento. De aquellos que informaron deficiencias en el uso de IA para detectar o responder a amenazas cibernéticas, el 71% dijo que la IA generaba falsos positivos. Anthropic busca aportes de investigadores de seguridad sobre medidas de seguridad de IA El fabricante de IA generativa Anthropic amplió su programa de recompensas por errores en HackerOne en agosto. Específicamente, Anthropic quiere que la comunidad de hackers pruebe «las mitigaciones que usamos para prevenir el uso indebido de nuestros modelos», incluido el intento de romper las barreras destinadas a evitar que la IA proporcione recetas para explosivos o ciberataques. Anthropic dice que otorgará hasta $ 15,000 a aquellos que identifiquen con éxito nuevos ataques de jailbreaking y brindará a los investigadores de seguridad de HackerOne acceso temprano a su próximo sistema de mitigación de seguridad.
