Ampliar / El Capitolio del Estado de California en Sacramento. La «Ley de Innovación Segura para Modelos Fronterizos de Inteligencia Artificial» de California (también conocida como SB-1047) ha generado una oleada de titulares y debates sobre la «seguridad» general de los grandes modelos de inteligencia artificial. Pero a los críticos les preocupa que el enfoque exagerado del proyecto de ley en las amenazas existenciales de los futuros modelos de IA pueda limitar gravemente la investigación y el desarrollo de usos de IA más prosaicos y no amenazantes en la actualidad. La SB-1047, presentada por el senador estatal Scott Wiener, fue aprobada por el Senado de California en mayo con una votación de 32 a 1 y parece estar bien posicionada para una votación final en la Asamblea estatal en agosto. El texto del proyecto de ley exige que las empresas que están detrás de modelos de IA suficientemente grandes (actualmente fijados en $100 millones en costos de capacitación y la potencia de procesamiento aproximada que implican esos costos hoy) implementen procedimientos y sistemas de prueba para prevenir y responder a «incidentes de seguridad». El proyecto de ley establece una definición legalista de esos incidentes de seguridad que, a su vez, se centra en definir un conjunto de «daños críticos» que un sistema de IA podría permitir. Eso incluye daños que conduzcan a «víctimas masivas o al menos 500 millones de dólares en daños», como «la creación o el uso de armas químicas, biológicas, radiológicas o nucleares» (¿hola, Skynet?) o «instrucciones precisas para llevar a cabo un ciberataque… en infraestructura crítica». El proyecto de ley también alude a «otros daños graves a la seguridad pública que sean de gravedad comparable» a los establecidos explícitamente. El creador de un modelo de IA no puede ser considerado responsable de los daños causados ​​por el intercambio de información «públicamente accesible» desde fuera del modelo; simplemente pedirle a un LLM que resuma el Libro de cocina del anarquista probablemente no lo pondría en violación de la ley, por ejemplo. En cambio, el proyecto de ley parece estar más preocupado por las futuras IA que podrían presentar «nuevas amenazas a la seguridad pública». Más que un humano que utiliza una IA para generar ideas dañinas, la SB-1047 se centra en la idea de una IA «que se involucra de manera autónoma en un comportamiento distinto al que se le solicita a un usuario» mientras actúa «con una supervisión, intervención o control humano limitado». Ampliar / ¿El nuevo proyecto de ley de California habría detenido WOPR? Para evitar esta eventualidad que parece sacada de la ciencia ficción, cualquiera que entrene un modelo lo suficientemente grande debe «implementar la capacidad de ejecutar rápidamente un apagado total» y tener políticas establecidas para cuando se ejecutaría dicho apagado, entre otras precauciones y pruebas. El proyecto de ley también se centra en puntos sobre acciones de IA que requerirían «intención, imprudencia o negligencia grave» si las realizara un humano, lo que sugiere un grado de agencia que no existe en los grandes modelos de lenguaje actuales. ¿Ataque de la IA asesina? Este tipo de lenguaje en el proyecto de ley probablemente refleja los temores particulares de su redactor original, el cofundador del Centro para la Seguridad de la IA (CAIS), Dan Hendrycks. En un artículo de la revista Time de 2023, Hendrycks plantea el argumento existencialista maximalista de que «las presiones evolutivas probablemente inculcarán en las IA comportamientos que promuevan la autoconservación» y conducirán a «un camino hacia su suplantación como especie dominante de la Tierra». Si Hendrycks tiene razón, entonces una legislación como la SB-1047 parece una precaución de sentido común; de hecho, podría no ser suficiente. Los partidarios del proyecto de ley, incluidos los eminentes expertos en IA Geoffrey Hinton y Yoshua Bengio, están de acuerdo con la afirmación de Hendrycks de que el proyecto de ley es un paso necesario para prevenir posibles daños catastróficos de los sistemas de IA avanzados. «Los sistemas de IA que superan un cierto nivel de capacidad pueden plantear riesgos significativos para las democracias y la seguridad pública», escribió Bengio en un respaldo al proyecto de ley. «Por lo tanto, deben probarse adecuadamente y someterse a las medidas de seguridad adecuadas. Este proyecto de ley ofrece un enfoque práctico para lograrlo y es un gran paso hacia los requisitos que he recomendado a los legisladores». «Si vemos aquí algún comportamiento de búsqueda de poder, no es de sistemas de IA, sino de agoreros de la IA», añadió el experto en políticas tecnológicas Nirit Weiss-Blatt. «Con sus miedos ficticios, intentan aprobar una legislación basada en la ficción, una que, según numerosos expertos en IA y defensores del código abierto, podría arruinar la ventaja tecnológica de California y de Estados Unidos».