Los investigadores de ciberseguridad llevan tiempo advirtiendo de que los programas de inteligencia artificial generativa (GenAI) son vulnerables a una amplia gama de ataques, desde avisos especialmente diseñados que pueden romper las barreras de seguridad hasta fugas de datos que pueden revelar información confidencial. Cuanto más se profundiza en la investigación, más expertos descubren hasta qué punto GenAI es un riesgo muy abierto, especialmente para los usuarios empresariales con datos extremadamente sensibles y valiosos. Además: la IA generativa puede volverse maliciosa fácilmente a pesar de las barreras de seguridad, dicen los expertos «Este es un nuevo vector de ataque que abre una nueva superficie de ataque», dijo Elia Zaitsev, director de tecnología del proveedor de ciberseguridad CrowdStrike, en una entrevista con ZDNET.»Veo que con la IA generativa mucha gente se apresura a utilizar esta tecnología y se saltan los controles y métodos normales» de la informática segura, dijo Zaitsev. «En muchos sentidos, se puede pensar en la tecnología de IA generativa como un nuevo sistema operativo o un nuevo lenguaje de programación», dijo Zaitsev. «Mucha gente no tiene experiencia en lo que son los pros y los contras, y en cómo usarla correctamente, cómo protegerla correctamente». El ejemplo reciente más infame de IA que genera preocupaciones de seguridad es la función Recall de Microsoft, que originalmente iba a estar integrada en todas las nuevas PC Copilot+. Los investigadores de seguridad han demostrado que los atacantes que obtienen acceso a una PC con la función Recall pueden ver el historial completo de la interacción de un individuo con la PC, de manera similar a lo que sucede cuando se coloca deliberadamente un registrador de pulsaciones de teclas u otro software espía en la máquina. «Han lanzado una función para el consumidor que básicamente es un software espía integrado, que copia todo lo que estás haciendo en un archivo local sin cifrar», explicó Zaitsev. «Es una mina de oro para que los adversarios ataquen, vulneren y obtengan todo tipo de información». Además: Los concesionarios de automóviles de EE. UU. se tambalean tras un ciberataque masivo: 3 cosas que los clientes deben saber Después de una reacción negativa, Microsoft dijo que desactivaría la función de forma predeterminada en las PC, convirtiéndola en una función opcional. Los investigadores de seguridad dijeron que todavía había riesgos para la función. Posteriormente, la compañía dijo que no pondría Recall disponible como una característica de vista previa en los PC Copilot+, y ahora dice que Recall «llegará pronto a través de una actualización de Windows posterior al lanzamiento». Sin embargo, la amenaza es más amplia que una aplicación mal diseñada. El mismo problema de centralizar un montón de información valiosa existe con toda la tecnología de modelos de lenguaje grandes (LLM), dijo Zaitsev. «Veo que mucha gente se apresura a utilizar esta tecnología, y están pasando por alto los controles y métodos normales» de la informática segura, dice Elia Zaitsev de CrowdStrike. «Yo lo llamo LLM desnudos», dijo, refiriéndose a los modelos de lenguaje grandes. «Si entreno un montón de información sensible, lo pongo en un modelo de lenguaje grande y luego hago que ese modelo de lenguaje grande sea directamente accesible para un usuario final, entonces se pueden usar ataques de inyección rápida donde puedes hacer que básicamente descargue toda la información de entrenamiento, incluida la información que es sensible». Los ejecutivos de tecnología empresarial han expresado preocupaciones similares. En una entrevista de este mes con el boletín tecnológico The Technology Letter, el director ejecutivo del proveedor de almacenamiento de datos Pure Storage, Charlie Giancarlo, comentó que los LLM «aún no están listos para la infraestructura empresarial». Giancarlo citó la falta de «controles de acceso basados ​​en roles» en los LLM. Los programas permitirán que cualquiera pueda obtener el aviso de un LLM y averiguar datos confidenciales que se han absorbido con el proceso de entrenamiento del modelo. Además: los cibercriminales están utilizando la IA Llama 2 de Meta, según CrowdStrike «En este momento, no hay buenos controles establecidos», dijo Giancarlo. «Si le pidiera a un robot de IA que escribiera mi script de ganancias, el problema es que podría proporcionar datos que solo yo podría tener», como explicó el director ejecutivo, «pero una vez que le enseñas al robot, no podría olvidarlo, y entonces, alguien más, antes de la divulgación, podría preguntar: ‘¿Cuáles serán las ganancias de Pure?’ y se lo diría». Revelar información sobre las ganancias de las empresas antes de la divulgación programada puede dar lugar a operaciones con información privilegiada y otras violaciones de valores. Los programas GenAI, dijo Zaitsev, son «parte de una categoría más amplia que se podría llamar intrusiones sin malware», donde no es necesario inventar software malicioso e instalarlo en un sistema informático objetivo. Los expertos en ciberseguridad llaman a este código sin malware «vivir de la tierra», dijo Zaitsev, utilizando vulnerabilidades inherentes a un programa de software por diseño. «No estás trayendo nada externo, solo estás aprovechando lo que está integrado en el sistema operativo». Un ejemplo común de vivir de la tierra es la inyección SQL, donde el lenguaje de consulta estructurado utilizado para consultar una base de datos SQL se puede diseñar con ciertas secuencias de caracteres para obligar a la base de datos a realizar pasos que normalmente estarían bloqueados. De manera similar, los LLM son en sí mismos bases de datos, ya que la función principal de un modelo es «solo una compresión supereficiente de datos» que crea efectivamente un nuevo almacén de datos. «Es muy análogo a la inyección SQL», dijo Zaitsev. «Es una propiedad negativa fundamental de estas tecnologías». Sin embargo, la tecnología de Gen AI no es algo que se pueda descartar. Tiene su valor si se puede utilizar con cuidado. «He visto de primera mano algunos éxitos bastante espectaculares con [GenAI] «La tecnología es muy eficaz», dijo Zaitsev. «Y ya la estamos utilizando con gran eficacia de forma orientada al cliente con Charlotte AI», el programa de asistencia de Crowdstrike que puede ayudar a automatizar algunas funciones de seguridad. Además: las fallas de seguridad en la nube de las empresas son «preocupantes», a medida que aumentan las amenazas de la IAEntre las técnicas para mitigar el riesgo se encuentran la validación del mensaje del usuario antes de que llegue a un LLM y, luego, la validación de la respuesta antes de que se envíe de vuelta al usuario. «No se permite que los usuarios pasen mensajes que no se hayan inspeccionado directamente al LLM», dijo Zaitsev. Por ejemplo, un LLM «desnudo» puede buscar directamente en una base de datos a la que tiene acceso a través de «RAG» o generación aumentada de recuperación, una práctica cada vez más común de tomar el mensaje del usuario y compararlo con el contenido de la base de datos. Eso amplía la capacidad del LLM para revelar no solo información confidencial que ha sido comprimida por el LLM, sino también todo el repositorio de información confidencial en esas fuentes externas. RAG es una metodología general para permitir que un LLMLa clave es no permitir que el LLM desnudo acceda a los almacenes de datos directamente, dijo Zaitsev. En cierto sentido, hay que controlar el RAG antes de que empeore el problema.»Aprovechamos la propiedad de los LLM donde el usuario puede hacer una pregunta abierta, y luego la usamos para decidir qué están tratando de hacer, y luego usamos tecnologías de programación más tradicionales» para cumplir con la consulta.»Por ejemplo, Charlotte AI, en muchos casos, permite al usuario hacer una pregunta genérica, pero luego lo que Charlotte hace es identificar qué parte de la plataforma, qué conjunto de datos tiene la fuente de verdad, para luego extraer para responder la pregunta» a través de una llamada API en lugar de permitir que el LLM consulte la base de datos directamente.Además: la IA está cambiando la ciberseguridad y las empresas deben despertar ante la amenaza»Ya hemos invertido en la construcción de esta plataforma robusta con API y capacidad de búsqueda, por lo que no necesitamos depender demasiado del LLM, y ahora estamos minimizando los riesgos», dijo Zaitsev.»Lo importante es que has bloqueado estas interacciones, no está completamente abierto».Más allá de los usos indebidos en el aviso, el hecho de que GenAI pueda filtrar datos de entrenamiento es «Es una preocupación muy amplia para la que se deben encontrar controles adecuados», dijo Zaitsev. «¿Vas a poner tu número de seguridad social en un mensaje que luego vas a enviar a un tercero del que no tienes ni idea de que ahora está entrenando tu número de seguridad social en un nuevo LLM que alguien podría filtrar a través de un ataque de inyección?» «La privacidad, la información de identificación personal, saber dónde se almacenan tus datos y cómo se protegen: todas esas son cosas que deberían preocupar a las personas cuando están desarrollando tecnología Gen AI y utilizando otros proveedores que están utilizando esa tecnología».