Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder en la industria. Más información Los incidentes de deepfake aumentarán en 2024 y se prevé que aumentarán un 60% o más este año, lo que elevará los casos globales a 150.000 o más. Esto hace que los ataques deepfake impulsados ​​por IA sean el tipo de IA adversaria de más rápido crecimiento en la actualidad. Deloitte predice que los ataques deepfake causarán daños por más de 40 mil millones de dólares para 2027, siendo los servicios bancarios y financieros los principales objetivos. Las fabricaciones de voz y vídeo generadas por IA están desdibujando las líneas de credibilidad para vaciar la confianza en las instituciones y los gobiernos. El comercio de deepfake está tan extendido en las organizaciones de guerra cibernética de los estados-nación que ha alcanzado la madurez de una táctica de ataque en naciones de guerra cibernética que se enfrentan entre sí constantemente. “En las elecciones de hoy, los avances en IA, como la IA generativa o los deepfakes, han evolucionado desde una mera desinformación hasta sofisticadas herramientas de engaño. La IA ha hecho que sea cada vez más difícil distinguir entre información genuina y fabricada”, dijo a VentureBeat Srinivas Mukkamala, director de producto de Ivanti. El sesenta y dos por ciento de los directores ejecutivos y altos ejecutivos de negocios creen que los deepfakes crearán al menos algunos costos operativos y complicaciones para su organización en los próximos tres años, mientras que el 5% los considera una amenaza existencial. Gartner predice que para 2026, los ataques que utilizan deepfakes generados por IA en datos biométricos faciales significarán que el 30% de las empresas ya no considerarán que dichas soluciones de verificación y autenticación de identidad sean confiables de forma aislada. “Una investigación reciente realizada por Ivanti revela que más de la mitad de los trabajadores de oficina (54%) desconocen que la IA avanzada puede suplantar la voz de cualquier persona. Esta estadística es preocupante, considerando que estas personas participarán en las próximas elecciones”, dijo Mukkamala. La evaluación de amenazas de la Comunidad de Inteligencia de EE. UU. para 2024 afirma que “Rusia está utilizando IA para crear deepfakes y está desarrollando la capacidad de engañar a los expertos. Las personas que se encuentran en zonas de guerra y entornos políticos inestables pueden ser algunos de los objetivos de mayor valor para una influencia maligna tan falsa”. Los deepfakes se han vuelto tan comunes que el Departamento de Seguridad Nacional ha publicado una guía, Aumento de las amenazas de identidades deepfake. Cómo se diseña GPT-4o para detectar deepfakes El último modelo de OpenAI, GPT-4o, está diseñado para identificar y detener estas crecientes amenazas. Como un “modelo omni autorregresivo, que acepta como entrada cualquier combinación de texto, audio, imagen y video”, como se describe en su tarjeta del sistema publicada el 8 de agosto. OpenAI escribe: “Solo permitimos que el modelo use ciertos elementos preseleccionados voces y usar un clasificador de salida para detectar si el modelo se desvía de eso”. La identificación de contenido multimodal potencial deepfake es uno de los beneficios de las decisiones de diseño de OpenAI que en conjunto definen GPT-4o. Es digno de mención la cantidad de equipos rojos que se han realizado en el modelo, que se encuentra entre los lanzamientos de modelos de IA de última generación más extensos en toda la industria. Todos los modelos deben entrenarse y aprender constantemente de los datos de los ataques para mantener su ventaja, y ese es especialmente el caso cuando se trata de mantenerse al día con las técnicas de deepfake de los atacantes, que se están volviendo indistinguibles del contenido legítimo. La siguiente tabla explica cómo las funciones de GPT-4o ayudan a identificar y detener los deepfakes de audio y video. Fuente: análisis de VentureBeat Capacidades clave de GPT-4o para detectar y detener deepfakes Las características clave del modelo que fortalecen su capacidad para identificar deepfakes incluyen las siguientes: Detección de redes generativas adversas (GAN). La misma tecnología que utilizan los atacantes para crear deepfakes, GPT-4o, puede identificar contenido sintético. El modelo de OpenAI puede identificar discrepancias previamente imperceptibles en el proceso de generación de contenido que ni siquiera las GAN pueden replicar por completo. Un ejemplo es cómo GPT-4o analiza fallas en cómo la luz interactúa con los objetos en secuencias de video o inconsistencias en el tono de la voz a lo largo del tiempo. La detección GANS de 4o resalta estos pequeños defectos que son indetectables para el ojo o el oído humanos. Las GAN suelen constar de dos redes neuronales. El primero es un generador que produce datos sintéticos (imágenes, vídeos o audio) y un discriminador que evalúa su realismo. El objetivo del generador es mejorar la calidad del contenido para engañar al discriminador. Esta técnica avanzada crea deepfakes casi indistinguibles del contenido real. Fuente: Informe del Grupo de Trabajo CEPS, Inteligencia Artificial y Ciberseguridad. Tecnología, Gobernanza y Desafíos de Políticas, Centro de Estudios de Política Europea (CEPS). Bruselas. Mayo 2021 Autenticación de voz y clasificadores de salida. Una de las características más valiosas de la arquitectura de GPT-4o es su filtro de autenticación de voz. El filtro cruza cada voz generada con una base de datos de voces legítimas y preaprobadas. Lo fascinante de esta capacidad es cómo el modelo utiliza huellas dactilares neuronales de voz para rastrear más de 200 características únicas, incluidos el tono, la cadencia y el acento. El clasificador de salida de GPT-4o cierra inmediatamente el proceso si se detecta algún patrón de voz no autorizado o no reconocido. Validación cruzada multimodal. La tarjeta del sistema OpenAI define de manera integral esta capacidad dentro de la arquitectura GPT-4o. 4o opera a través de entradas de texto, audio y video en tiempo real, validando de forma cruzada datos multimodales como legítimos o no. Si el audio no coincide con el contexto de texto o video esperado, el sistema GPT4o lo marca. Los miembros del equipo rojo descubrieron que esto es especialmente crucial para detectar intentos de sincronización de labios o suplantación de video generados por IA. Los ataques deepfake a directores ejecutivos están aumentando De los miles de intentos de deepfake de directores ejecutivos solo este año, el que tuvo como objetivo al director ejecutivo de la empresa de publicidad más grande del mundo muestra cuán sofisticados se están volviendo los atacantes. Otro es un ataque que ocurrió a través de Zoom con múltiples identidades falsas en la llamada, incluido el director financiero de la empresa. Supuestamente, un trabajador financiero de una empresa multinacional fue engañado para que autorizara una transferencia de 25 millones de dólares mediante un deepfake de su director financiero y su personal superior en una llamada de Zoom. En una reciente sesión informativa sobre tecnología con el Wall Street Journal, el director ejecutivo de CrowdStrike, George Kurtz, explicó cómo las mejoras en la IA están ayudando a los profesionales de la ciberseguridad a defender los sistemas y, al mismo tiempo, comenta cómo la utilizan los atacantes. Kurtz habló con el periodista del WSJ Dustin Volz sobre IA, las elecciones estadounidenses de 2024 y las amenazas planteadas por China y Rusia. “Y si ahora en 2024 con la capacidad de crear deepfakes, y algunos de nuestros muchachos internos han hecho algunos videos divertidos conmigo y solo para mostrarme lo aterrador que es, no se podría decir que no era yo el que estaba en el video. ”, dijo Kurtz al WSJ. “Creo que esa es una de las áreas que realmente me preocupan. Siempre hay preocupación por la infraestructura y ese tipo de cosas. En esas áreas, gran parte sigue siendo votación en papel y cosas por el estilo. Algunas cosas no lo son, pero cómo se crea la narrativa falsa para lograr que la gente haga las cosas que un Estado-nación quiere que hagan, esa es el área que realmente me preocupa”. El papel fundamental de la confianza y la seguridad en la era de la IA Los objetivos de diseño prioritarios de OpenAI y un marco arquitectónico que pone a la vanguardia la detección falsa de audio, vídeo y contenido multimodal reflejan el futuro de los modelos de IA de generación. “La aparición de la IA durante el año pasado ha puesto en primer plano la importancia de la confianza en el mundo digital”, afirma Christophe Van de Weyer, director ejecutivo de Telesign. “A medida que la IA continúa avanzando y volviéndose más accesible, es crucial que prioricemos la confianza y la seguridad para proteger la integridad de los datos personales e institucionales. En Telesign, estamos comprometidos a aprovechar las tecnologías de IA y ML para combatir el fraude digital, garantizando un entorno digital más seguro y confiable para todos”. VentureBeat espera que OpenAI amplíe las capacidades multimodales de GPT-40, incluida la autenticación de voz y la detección de deepfake a través de GAN para identificar y eliminar contenido deepfake. A medida que las empresas y los gobiernos dependen cada vez más de la IA para mejorar sus operaciones, modelos como GPT-4o se vuelven indispensables para proteger sus sistemas y salvaguardar las interacciones digitales. Mukkamala enfatizó a VentureBeat que “sin embargo, cuando todo está dicho y hecho, el escepticismo es la mejor defensa contra los deepfakes. Es fundamental evitar tomar la información al pie de la letra y evaluar críticamente su autenticidad”. VB Daily ¡Manténgase informado! Reciba las últimas noticias en su bandeja de entrada diariamente. Al suscribirse, acepta los Términos de servicio de VentureBeat. Gracias por suscribirte. Consulte más boletines de VB aquí. Se produjo un error.