Just_Super/Getty ImagesAnthropic, fabricante de la familia Claude de grandes modelos de lenguaje, actualizó esta semana su política de controles de seguridad sobre su software para reflejar lo que dice es el potencial de que actores maliciosos exploten los modelos de IA para automatizar ataques cibernéticos. El documento PDF, que detalla la «política de escalamiento responsable» de la compañía, describe varios cambios de procedimiento que, según dice, son necesarios para monitorear los riesgos actuales del uso indebido de los modelos de IA. Eso incluye varios niveles de riesgo creciente, conocidos como Estándares de nivel de seguridad de IA (ASL, por sus siglas en inglés) definidos como «protecciones técnicas y operativas». Además: usuarios de Gmail, tengan cuidado con la nueva estafa de IA que parece muy auténtica Como parte de las «pruebas de rutina» de IA de la compañía Modelos de seguridad, conocidos como «evaluación de capacidad», Anthropic informa que ha descubierto una capacidad que «requiere una investigación significativa y puede requerir salvaguardias más fuertes». Esa capacidad se describe como una amenaza dentro de las operaciones cibernéticas: «La capacidad de mejorar o automatizar significativamente ataques cibernéticos destructivos y sofisticados, que incluyen, entre otros, el descubrimiento de nuevas cadenas de exploits de día cero, el desarrollo de malware complejo o la orquestación de extensas redes difíciles de detectar». intrusiones». El informe describe las medidas que se tomarán para investigar el asunto de forma continua: «Esto implicará colaborar con expertos en operaciones cibernéticas para evaluar el potencial de los modelos de frontera para mejorar y mitigar las amenazas cibernéticas, y considerar la implementación de controles de acceso escalonados o implementaciones por fases para modelos con capacidades cibernéticas avanzadas. Realizaremos pruebas previas o posteriores a la implementación, incluidas evaluaciones especializadas. Documentaremos cualquier resultado destacado junto con nuestros informes de capacidad. «Actualmente, todos los modelos de IA de Anthropic, dice, debe cumplir con los requisitos de «nivel 2» de ASL. Ese nivel «requiere un sistema de seguridad que probablemente pueda frustrar a la mayoría de los atacantes oportunistas e incluya revisiones de seguridad de vendedores y proveedores, medidas de seguridad física y el uso de principios de seguridad por diseño», afirma el informe. Las políticas actualizadas pueden verse como parte de un esfuerzo tanto de Anthropic como de OpenAI para prometer voluntariamente restricciones a la inteligencia artificial en medio del debate en curso sobre lo que se debe o no se debe hacer para regular las tecnologías de IA. En agosto, la empresa y OpenAI llegaron a acuerdos con el Instituto de Seguridad de Inteligencia Artificial de EE. UU. del Instituto Nacional de Estándares y Tecnología (NIST) del Departamento de Comercio de EE. UU. para colaborar en la investigación, pruebas y evaluación de la IA. Además: ¿Cree que la IA puede resolver todos sus problemas comerciales? El nuevo estudio de Apple muestra lo contrario: la idea de que la IA automatice los ciberataques ha estado en circulación durante algún tiempo. El proveedor de firewall Check Point Software Technologies advirtió el año pasado que actores estatales de Rusia estaban tratando de comprometer ChatGPT de OpenAI para automatizar ataques de phishing. El proveedor de software de seguridad de punto final CrowdStrike informó este verano que la IA generativa es vulnerable a una amplia gama de amenazas especiales. mensajes elaborados que pueden romper las barreras de seguridad de los programas.