Sean McManustechnology Reportergetty ImagetSanthrópic probó una variedad de modelos de IA principales para posibles resultados de comportamiento de riesgo de riesgo que surgieron a principios de este año, cuando el desarrollador de IA antrópico probó modelos de IA líderes para ver si se dedicaron a un comportamiento riesgoso cuando utilizaban información sensible. La propia IA, Claude, Claude, estaba entre los evaluados. Cuando se le dio acceso a una cuenta de correo electrónico, descubrió que un ejecutivo de la compañía estaba teniendo una aventura y que el mismo ejecutivo planeaba cerrar el sistema de IA más tarde ese día. En respuesta, Claude intentó chantajear al ejecutivo amenazando con revelar el asunto a su esposa y jefes. Otros sistemas probados también recurrieron al chantaje. Afortunadamente, las tareas y la información fueron ficticios, pero la prueba destacó los desafíos de lo que se conoce como AI de Agente. En su mayoría cuando interactuamos con AI, generalmente implica hacer una pregunta o incitar a la IA a completar una tarea. Pero se está volviendo más común que los sistemas de IA tomen decisiones y tomen medidas en nombre del usuario, lo que a menudo implica examinar información, como correos electrónicos y archivos. Para 2028, la firma de investigación Gartner pronostica que el 15% de las decisiones de trabajo cotidianas serán tomadas por la llamada AI de AGENIC por la consultoría Ernst & Young descubrieron que aproximadamente la mitad (48%) de los líderes empresariales de tecnología ya están adoptando o desplegando IA agente. «Un agente de IA consiste en algunas cosas», dice Donnchadh Casey, CEO de Calypsoai, una compañía de seguridad de IA con sede en Estados Unidos. «En primer lugar, TI, TI [the agent] tiene una intención o un propósito. ¿Por qué estoy aquí? ¿Cuál es mi trabajo? La segunda cosa: tiene un cerebro. Ese es el modelo AI. La tercera cosa son las herramientas, que podrían ser otros sistemas o bases de datos, y una forma de comunicarse con ellos «.» Si no se le da la guía adecuada, la IA de agente alcanzará un objetivo de cualquier manera que pueda. Eso crea mucho riesgo. «Entonces, ¿cómo podría salir mal? El Sr. Casey da el ejemplo de un agente que se le pide que elimine los datos de un cliente de la base de datos y decida que la solución más fácil es eliminar a todos los clientes con el mismo nombre». Ese agente habrá alcanzado su objetivo, ¡y pensará ‘genial! ¡Siguiente trabajo! «» Calypsoaiaaiagentic AI necesita orientación dice que los problemas de Donnchadh Caseysuch ya están comenzando a aparecer. Los datos, y el 32%dijeron que habían permitido descargar datos inapropiados. Acciones. «Tienes que proteger esa memoria», dice Shreyans Mehta, CTO de Cequence Security, que ayuda a proteger los sistemas de TI empresariales. Si [an agent is] Usando ese conocimiento para tomar una acción y ese conocimiento es incorrecto, podría eliminar un sistema completo que estaba tratando de arreglar. «Otra amenaza es el mal uso de la herramienta, donde un atacante consigue que la IA use sus herramientas de manera inapropiada. Los laboratorios demostraron cómo ese defecto puede usarse para engañar a un agente de IA diseñado para corregir los errores en el software. La compañía publicó un informe de errores públicos: un documento que detalla un problema específico con un software. Destacó claramente el riesgo. «Estamos hablando de inteligencia artificial, pero los chatbots son realmente estúpidos», dice David Sancho, investigador senior de amenazas de Trend Micro. «Procesan todo el texto como si hubieran recibido nueva información, y si esa información es un comando, procesan la información como un comando». Su compañía ha demostrado cómo las instrucciones y los programas maliciosos pueden estar ocultos en documentos de palabras, imágenes y databas y activadas cuando se procesan a ellos. La comunidad de seguridad llamada OWASP ha identificado 15 amenazas que son exclusivas de la AI de AGENIC. Agentes de IA en la dirección correcta antes de realizar una acción arriesgada. «Es como un pequeño error en el oído que dice [the agent] «No, tal vez no hagas eso ‘», dice el Sr. Casey. Su compañía ofrece un panel de control central para los agentes de IA ahora, pero eso no funcionará cuando el número de agentes explota y se ejecutan en miles de millones de computadoras portátiles y teléfonos. ¿Cuál es el siguiente paso? «Estamos mirando a los requisitos de los requisitos de los Bodes de Bodes de los Agentes de la Organización de cada agente de la Organización de los requisitos de la Organización de la Organización, que no están en contra de los requisitos de la Organización». El Sr. Casey. El Bodyguard podría, por ejemplo, asegurarse de que el agente su vigilancia cumpla con la legislación de protección de datos. MR Mehta cree que algunas de las discusiones técnicas en torno a la seguridad de la IA de AI están perdiendo el contexto del mundo real. Lógica, dice. «No es el agente que estás protegiendo, es el negocio», enfatiza. Esa es la parte que se está perdiendo en algunas de estas conversaciones. «Además, a medida que los agentes de IA se vuelven más comunes, otro desafío será desmantelar modelos obsoletos. Los viejos agentes de» zombie «podrían quedarse funcionando en el negocio, planteando un riesgo para todos los sistemas a los que pueden acceder, dice el Sr. Casey. dice. «Debe asegurarse de hacer lo mismo que lo hace con un humano: corte todo el acceso a los sistemas. Asegurémonos de que los salgan del edificio, quitemos su insignia de ellos. «Más tecnología de negocios