Inteligencia artificial y aprendizaje automático, tecnologías de próxima generación y desarrollo seguro Una empresa de código abierto emite parches tras ser alertada por Palo AltoAkshaya Asokan (asokan_akshaya) • 24 de julio de 2024 Los investigadores encontraron fallas en un marco de inteligencia artificial generativa de código abierto ampliamente utilizado. (Imagen: Shutterstock) Un marco de inteligencia artificial generativa ampliamente utilizado es vulnerable a una falla de mandato judicial rápido que podría permitir la filtración de datos confidenciales. Ver también: Los 10 principales requisitos de DSPM: desafíos de seguridad de datos en la era de la nube Los investigadores de la empresa de seguridad Palo Alto Networks descubrieron dos fallas de código arbitrario en LangChain, una biblioteca de código abierto que admite el desarrollo de aplicaciones de modelos de lenguaje de gran tamaño. «Estas dos fallas podrían haber permitido a los atacantes ejecutar código arbitrario y acceder a datos confidenciales. LangChain ha emitido parches para resolver estas vulnerabilidades», dijeron los investigadores. La primera vulnerabilidad, identificada como CVE-2023-44467, es un fallo crítico de inyección de mensajes que afecta a PALChain, una biblioteca de Python utilizada por LangChain para generar código. Los investigadores explotaron el fallo alterando las funcionalidades de dos funciones de seguridad dentro de from_math_prompt, un método que traduce las consultas del usuario en código Python ejecutable. Al establecer los valores de las dos funciones de seguridad en falso, los investigadores alteraron las comprobaciones de validación de LangChain y su capacidad para detectar funciones peligrosas, lo que les permitió ejecutar el código malicioso en la aplicación como una acción especificada por el usuario. «Al deshabilitar las importaciones y bloquear ciertas funciones de ejecución de comandos integradas, el enfoque reduce teóricamente el riesgo de ejecutar código no autorizado o dañino», dijeron los investigadores. El otro fallo, identificado como CVE-2023-46229, afecta a una característica de LangChain llamada SitemapLoader que extrae información de diferentes URL para generar información recopilada de cada sitio como un PDF. La vulnerabilidad se debe a la capacidad de SitemapLoader de recuperar información de cada URL que recibe. Una utilidad de apoyo llamada scrape_all recopila datos de cada URL que recibe sin filtrar ni desinfectar ningún dato. “Un actor malintencionado podría incluir URL de recursos de intranet en el mapa del sitio proporcionado. Esto puede provocar la falsificación de solicitudes del lado del servidor y la fuga involuntaria de datos confidenciales cuando se obtiene y devuelve el contenido de las URL enumeradas”, dijeron los investigadores. También dijeron que los actores de amenazas podrían explotar la falla para extraer información confidencial de las interfaces de programas de aplicaciones de acceso limitado de una organización u otro entorno de back-end con el que interactúa el LLM. Para mitigar la vulnerabilidad, LangChain introdujo una nueva función llamada extract_scheme_and_domain y una lista de permitidos que permite a sus usuarios controlar los dominios”, dijeron los investigadores. Tanto Palo Alto como LangChain instaron a la aplicación inmediata de parches, especialmente porque las empresas se apresuran a implementar soluciones de inteligencia artificial. No está claro si los actores de amenazas han explotado las fallas. LangChain no respondió de inmediato a una solicitud de comentarios. URL de la publicación original: https://www.databreachtoday.com/vulnerabilidades-en-langchain-gen-ai-podrían-provocar-una-fuga-de-datos-a-25844