Cloudflare ha anunciado el desarrollo de Firewall for AI, una capa de protección que se puede implementar frente a grandes modelos de lenguaje (LLM) y que promete identificar abusos antes de que lleguen a los modelos. Presentado el 4 de marzo, Firewall for AI pretende ser una solución avanzada. Firewall de aplicaciones web (WAF) para aplicaciones que utilizan LLM, que comprende un conjunto de herramientas que se pueden implementar frente a las aplicaciones para detectar vulnerabilidades y proporcionar visibilidad de las amenazas a los modelos. Cloudflare dijo que Firewall para IA combinará herramientas WAF tradicionales como la tasa La limitación y la detección de datos confidenciales con una nueva capa de protección que analiza el modelo solicita a los usuarios enviados que identifiquen intentos de explotar el modelo. El firewall para IA se ejecutará en la red de Cloudflare, lo que permitirá a Cloudflare identificar ataques temprano y proteger a los usuarios y modelos de ataques y abusos, dijo la compañía. El producto se encuentra actualmente en desarrollo. Algunas vulnerabilidades que afectan a las aplicaciones web y API tradicionales, como las inyecciones y la exfiltración de datos, también se aplican al mundo LLM. Pero ahora hay un nuevo conjunto de amenazas relevantes debido a cómo funcionan los LLM. Por ejemplo, los investigadores descubrieron recientemente una vulnerabilidad en una plataforma de colaboración de IA que les permitió secuestrar modelos y realizar acciones no autorizadas, dijo Cloudflare. El firewall para IA de Cloudflare se implementará como un WAF tradicional, en el que se escanea cada solicitud de API con un mensaje de LLM. para patrones y firmas de posibles ataques. Se puede implementar frente a modelos alojados en la plataforma de inteligencia artificial de Cloudflare Workers o modelos alojados en cualquier infraestructura de terceros. Además, se puede utilizar junto con Cloudflare AI Gateway. Firewall para IA ejecutará una serie de detecciones diseñadas para identificar intentos de inyección de avisos y otros abusos, como asegurarse de que el tema del aviso permanezca dentro de los límites definidos por el propietario del modelo. El firewall para IA también buscará mensajes integrados en solicitudes HTTP o permitirá a los clientes establecer reglas basadas en en qué parte del cuerpo JSON de la solicitud se puede encontrar el mensaje. Una vez habilitado, Firewall para IA analizará cada mensaje y proporcionará una puntuación basada en la probabilidad de que sea malicioso, dijo Cloudflare. Copyright © 2024 IDG Communications, Inc.

Source link