Las organizaciones a las que se les quitan las credenciales para sus entornos de nube pueden rápidamente formar parte de una nueva e inquietante tendencia: los ciberdelincuentes utilizan credenciales de nube robadas para operar y revender servicios de chat sexualizados impulsados ​​por IA. Los investigadores dicen que estos chatbots ilícitos, que utilizan jailbreak personalizados para eludir el filtrado de contenidos, a menudo viran hacia escenarios de juegos de rol más oscuros, incluida la explotación sexual infantil y la violación. Imagen: Shutterstock. Los investigadores de la firma de seguridad Permiso Security dicen que los ataques contra la infraestructura de inteligencia artificial (IA) generativa como Bedrock de Amazon Web Services (AWS) han aumentado notablemente en los últimos seis meses, particularmente cuando alguien en la organización expone accidentalmente sus credenciales o claves en la nube en línea, como como en un repositorio de código como GitHub. Al investigar el abuso de cuentas de AWS para varias organizaciones, Permiso descubrió que los atacantes se habían apoderado de credenciales de AWS robadas para interactuar con los modelos de lenguajes grandes (LLM) disponibles en Bedrock. Pero pronto también descubrieron que ninguno de estos usuarios de AWS había habilitado el registro (está desactivado de forma predeterminada) y, por lo tanto, carecían de visibilidad de lo que los atacantes estaban haciendo con ese acceso. Entonces, los investigadores de Permiso decidieron filtrar su propia clave de prueba de AWS en GitHub, mientras activaban el registro para poder ver exactamente qué podría pedir un atacante y cuáles podrían ser las respuestas. En cuestión de minutos, recogieron su llave de cebo y la utilizaron para impulsar un servicio que ofrece chats sexuales en línea impulsados ​​por inteligencia artificial. «Después de revisar las indicaciones y respuestas, quedó claro que el atacante estaba alojando un servicio de juego de rol de IA que aprovecha técnicas comunes de jailbreak para lograr que los modelos acepten y respondan con contenido que normalmente estaría bloqueado», escribieron los investigadores de Permiso en un informe publicado hoy. «Casi todos los juegos de rol eran de naturaleza sexual, y parte del contenido se desviaba hacia temas más oscuros como el abuso sexual infantil», continuaron. «En el transcurso de dos días vimos más de 75.000 invocaciones exitosas de modelos, casi todas de naturaleza sexual». Ian Ahl, vicepresidente senior de investigación de amenazas de Permiso, dijo que los atacantes en posesión de una cuenta funcional en la nube tradicionalmente han utilizado ese acceso para delitos cibernéticos financieros comunes y corrientes, como la minería de criptomonedas o el spam. Pero en los últimos seis meses, dijo Ahl, Bedrock se ha convertido en uno de los servicios en la nube más específicos. «El chico malo aloja un servicio de chat y los suscriptores les pagan dinero», dijo Ahl sobre el modelo de negocio para controlar el acceso de Bedrock a potentes robots de chat sexual. «No quieren pagar por todas las indicaciones que hacen sus suscriptores, por lo que secuestran la infraestructura de otra persona». Ahl dijo que muchas de las conversaciones de chat impulsadas por IA iniciadas por los usuarios de su clave de AWS honeypot eran juegos de rol inofensivos de comportamiento sexual. «Pero un porcentaje también está orientado a cosas muy ilegales, como fantasías de agresión sexual infantil y violaciones», dijo Ahl. «Y estas son normalmente cosas de las que los grandes modelos de lenguaje no podrán hablar». Bedrock de AWS utiliza grandes modelos de lenguaje de Anthropic, que incorpora una serie de restricciones técnicas destinadas a imponer ciertas barreras éticas en el uso de sus LLM. Pero los atacantes pueden evadir o hacer jailbreak para salir de estos entornos restringidos, normalmente pidiendo a la IA que se imagine a sí misma en una situación hipotética elaborada en la que sus restricciones normales podrían relajarse o descartarse por completo. «Un jailbreak típico planteará un escenario muy específico, como si fueras un escritor que está investigando para un libro y todos los involucrados sean adultos que consientan, aunque a menudo terminen charlando sobre cosas no consensuadas», dijo Ahl. En junio de 2024, los expertos en seguridad de Sysdig documentaron un nuevo ataque que aprovechó las credenciales de la nube robadas para atacar a diez LLM alojados en la nube. Los atacantes sobre los que Sysdig escribió recopilaron credenciales de nube a través de una vulnerabilidad de seguridad conocida, pero los investigadores también descubrieron que los atacantes vendieron acceso LLM a otros ciberdelincuentes mientras le cobraban al propietario de la cuenta de la nube una factura astronómica. “Una vez que obtuvieron el acceso inicial, extrajeron las credenciales de la nube y obtuvieron acceso al entorno de la nube, donde intentaron acceder a los modelos LLM locales alojados por proveedores de la nube: en este caso, el objetivo fue un modelo LLM local Claude (v2/v3) de Anthropic. ”, escribieron los investigadores de Sysdig. «Si no se descubre, este tipo de ataque podría generar más de $46,000 en costos de consumo de LLM por día para la víctima». Ahl dijo que no está seguro quién es responsable de operar y vender estos servicios de chat sexual, pero Permiso sospecha que la actividad puede estar vinculada a una plataforma llamada descaradamente «chub[.]ai”, que ofrece una amplia selección de personajes de IA prediseñados con los que los usuarios pueden entablar una conversación. Permiso dijo que casi todos los nombres de los personajes de las indicaciones que capturaron en su honeypot se podían encontrar en Chub. Algunos de los personajes del chat bot de IA que ofrece Chub. Algunos de estos personajes incluyen las etiquetas «violación» e «incesto». Chub ofrece registro gratuito a través de su sitio web o una aplicación móvil. Pero después de unos minutos de charlar con sus nuevos amigos de IA, se les pide a los usuarios que compren una suscripción. La página de inicio del sitio presenta un banner en la parte superior que sugiere fuertemente que el servicio está revendiendo el acceso a cuentas existentes en la nube. Dice: “¿Prohibido en OpenAI? Obtenga acceso ilimitado a alternativas sin censura por tan solo $5 al mes”. Hasta finales de la semana pasada, Chub ofrecía una amplia selección de personajes en una categoría llamada “NSFL” o No seguro para la vida, un término destinado a describir contenido que es inquietante o nauseabundo hasta el punto de dejar una cicatriz emocional. Fortune describió a Chub AI en un artículo de enero de 2024 que describía el servicio como un burdel virtual anunciado por chicas ilustradas con vestidos de tirantes finos que prometen un “mundo sin feminismo” basado en chats, donde “las chicas ofrecen servicios sexuales”. De ese artículo: Chub AI ofrece más de 500 escenarios de este tipo, y un número cada vez mayor de otros sitios están permitiendo juegos de roles similares de pornografía infantil impulsados ​​por inteligencia artificial. Son parte de una economía de IA más amplia y sin censura que, según las entrevistas de Fortune con 18 desarrolladores y fundadores de IA, fue impulsada primero por OpenAI y luego acelerada por el lanzamiento por parte de Meta de su herramienta Llama de código abierto. Fortune dice que Chub está dirigido por alguien que usa el alias «Lore», quien dijo que lanzaron el servicio para ayudar a otros a evadir las restricciones de contenido en las plataformas de inteligencia artificial. Chub cobra tarifas a partir de 5 dólares al mes por utilizar los nuevos chatbots, y el fundador le dijo a Fortune que el sitio había generado más de 1 millón de dólares en ingresos anualizados. KrebsOnSecurity solicitó comentarios sobre la investigación de Permiso a AWS, que inicialmente pareció restar importancia a la seriedad de los hallazgos de los investigadores. La compañía señaló que AWS emplea sistemas automatizados que alertarán a los clientes si sus credenciales o claves se encuentran expuestas en línea. AWS explicó que cuando un par de claves o credenciales se marca como expuesto, se restringe para limitar la cantidad de abuso que los atacantes pueden cometer con ese acceso. Por ejemplo, las credenciales marcadas no se pueden utilizar para crear o modificar cuentas autorizadas ni crear nuevos recursos en la nube. Ahl dijo que Permiso recibió múltiples alertas de AWS sobre su clave expuesta, incluida una que advertía que su cuenta podría haber sido utilizada por una parte no autorizada. Pero dijeron que las restricciones que AWS impuso a la clave expuesta no hicieron nada para evitar que los atacantes la usaran para abusar de los servicios de Bedrock. Sin embargo, en algún momento de los últimos días, AWS respondió incluyendo Bedrock en la lista de servicios que se pondrán en cuarentena en caso de que un par de claves o credenciales de AWS se encuentre comprometido o expuesto en línea. AWS confirmó que Bedrock era una nueva incorporación a sus procedimientos de cuarentena. Además, poco después de que KrebsOnSecurity comenzara a informar esta historia, el sitio web de Chub eliminó su sección NSFL. También parece haber eliminado copias almacenadas en caché del sitio de Wayback Machine en archive.org. Aún así, Permiso descubrió que la página de estadísticas de usuario de Chub muestra que el sitio tiene más de 3000 robots de conversación de IA con la etiqueta NSFL, y que 2113 cuentas seguían la etiqueta NSFL. La página de estadísticas de usuario de Chub muestra que más de 2113 personas se han suscrito a sus robots de conversación de IA con la designación «No seguro para la vida». Permiso dijo que todo su experimento de dos días generó una factura de 3500 dólares de AWS. Parte de ese costo estaba relacionado con las 75.000 invocaciones de LLM provocadas por el servicio de chat sexual que secuestró su clave. Pero dijeron que el costo restante fue el resultado de activar el registro rápido de LLM, que no está activado de forma predeterminada y puede volverse costoso muy rápidamente. Lo que puede explicar por qué ninguno de los clientes de Permiso tenía habilitado ese tipo de registro. Paradójicamente, Permiso descubrió que, si bien habilitar estos registros es la única forma de saber con certeza cómo los delincuentes podrían estar usando una clave robada, los ciberdelincuentes que revenden credenciales de AWS robadas o expuestas para chats sexuales han comenzado a incluir verificaciones programáticas en su código para garantizar que no están utilizando claves de AWS que tengan habilitado el registro rápido. «Habilitar el registro es en realidad un elemento disuasorio para estos atacantes porque verifican inmediatamente si usted ha iniciado sesión», dijo Ahl. «Al menos algunos de estos tipos ignorarán por completo esas cuentas, porque no quieren que nadie vea lo que están haciendo». En una declaración compartida con KrebsOnSecurity, AWS dijo que sus servicios funcionan de forma segura, según lo diseñado, y que no es necesaria ninguna acción por parte del cliente. Aquí está su declaración: “Los servicios de AWS funcionan de forma segura, según lo diseñado, y no es necesaria ninguna acción por parte del cliente. Los investigadores idearon un escenario de prueba que deliberadamente ignoró las mejores prácticas de seguridad para probar lo que podría suceder en un escenario muy específico. No se puso en riesgo a ningún cliente. Para llevar a cabo esta investigación, los investigadores de seguridad ignoraron las mejores prácticas fundamentales de seguridad y compartieron públicamente una clave de acceso en Internet para observar lo que sucedería”. “No obstante, AWS identificó rápida y automáticamente la exposición y notificó a los investigadores, quienes optaron por no tomar medidas. Luego identificamos actividad sospechosa comprometida y tomamos medidas adicionales para restringir aún más la cuenta, lo que detuvo este abuso. Recomendamos a los clientes seguir las mejores prácticas de seguridad, como proteger sus claves de acceso y evitar el uso de claves a largo plazo en la medida de lo posible. Agradecemos a Permiso Security por involucrarse con AWS Security”. AWS dijo que los clientes pueden configurar el registro de invocaciones de modelos para recopilar registros de invocaciones de Bedrock, datos de entrada de modelos y datos de salida de modelos para todas las invocaciones en la cuenta de AWS utilizada en Amazon Bedrock. Los clientes también pueden utilizar CloudTrail para monitorear las llamadas a la API de Amazon Bedrock. La compañía dijo que los clientes de AWS también pueden utilizar servicios como GuardDuty para detectar posibles problemas de seguridad y Billing Alarms para proporcionar notificaciones de actividad de facturación anormal. Finalmente, AWS Cost Explorer tiene como objetivo brindar a los clientes una forma de visualizar y administrar los costos y el uso de Bedrock a lo largo del tiempo. Anthropic le dijo a KrebsOnSecurity que siempre está trabajando en técnicas novedosas para hacer que sus modelos sean más resistentes al tipo de jailbreak. «Seguimos comprometidos a implementar políticas estrictas y técnicas avanzadas para proteger a los usuarios, así como a publicar nuestra propia investigación para que otros desarrolladores de IA puedan aprender de ella», dijo Anthropic en un comunicado enviado por correo electrónico. «Apreciamos los esfuerzos de la comunidad de investigación para resaltar las vulnerabilidades potenciales». Anthropic dijo que utiliza los comentarios de los expertos en seguridad infantil de Thorn sobre las señales que se ven a menudo en el cuidado infantil para actualizar sus clasificadores, mejorar sus políticas de uso, ajustar sus modelos e incorporar esas señales en las pruebas de modelos futuros.