A: Todos los secretarios de estado entrantes Es probable que en su departamento se utilicen sistemas algorítmicos de predicción y clasificación. Pueden o no llamarse “IA”, y puede haber otros tipos de sistemas etiquetados como “IA” que realicen diversas funciones. Existe un alto riesgo de que causen daños a los ciudadanos y puedan ser ilegales. Si no se examinan, pueden conducir a su futura aparición en una investigación pública como la de Horizon, con lo que su posición será indefendible. Recomendaciones: Debe exigir de inmediato que se complete íntegramente un documento de Estándar de Informes de Transparencia Algorítmica (ATRS) para cada sistema algorítmico utilizado en su departamento (y sus agencias y organismos independientes) que afecte a decisiones o acciones relacionadas con personas jurídicas o políticas. Debe incluir un análisis completo de la base legal para su uso y su cumplimiento con toda la legislación pertinente. Debe incluir una evaluación de su precisión y de cómo ese grado de precisión es apropiado para el propósito para el que se utiliza. Cualquier uso de un producto llamado “IA” o uso de productos de “IA generativa” como los chatbots debe incluirse dentro del alcance de este ejercicio. Debe dejar de utilizar cualquier sistema en el que exista algún riesgo de daño a algún ciudadano, en el que exista alguna duda sobre su legalidad o en el que no se haya demostrado su precisión suficiente. Otras opciones: También puede considerar: Ahorrar dinero dejando de gastar en «IA» a menos que se demuestre su valor. Negarse a aceptar cualquier documento oficial producido con productos de «IA generativa». Prohibir por completo los sistemas predictivos. Argumento: Usted está al tanto de la investigación pública sobre cómo los problemas con el software de contabilidad Horizon de Post Office llevaron a múltiples errores judiciales y consecuencias devastadoras para subdirectores de correos inocentes y sus familias. También estará al tanto de la vergüenza consecuente (al menos) para muchos ex ministros de Correos que, por diversas razones, no identificaron ni abordaron el problema. Esta presentación argumenta que debe actuar de inmediato para garantizar que ningún sistema en su departamento esté en riesgo de crear problemas similares, dado que actualmente no hay una fuente de información visible y completa que le asegure lo contrario. Desafíos a los beneficios comúnmente presuntos La Oficina Nacional de Auditoría (NAO) publicó un informe en marzo de 2024 sobre el uso de inteligencia artificial (IA) en el gobierno y el Comité de Cuentas Públicas posteriormente inició una investigación basada en él. El Comité solicitó evidencia escrita y publicó las respuestas en mayo. Algunas de las respuestas respaldaron la presunción, frecuentemente expresada, sobre los beneficios que la IA podría aportar al gobierno y los servicios públicos. Muchas fueron más escépticas y describieron problemas con los sistemas existentes (en particular, algoritmos que pueden no llamarse “IA”, pero que hacen predicciones sobre las personas) y problemas fundamentales con el uso de herramientas de predicción estadística en la administración pública. Se mencionaron daños específicos derivados de sistemas específicos. Problemas con la legalidad y la transparencia Algunas presentaciones contenían amplios argumentos legales y constitucionales de que muchos de esos métodos probablemente serían ilegales y entrarían en conflicto con el estado de derecho y los derechos humanos. Si bien las opiniones fueron variadas, hubo una fuerte sensación de que las partes interesadas están muy alertas a los riesgos que plantea el uso de métodos algorítmicos y de IA por parte del gobierno. Un académico presentó un argumento sólido de que deberían prohibirse por ley; otro sostuvo que es posible que ya sean ilegales. Una presentación señaló que “la transparencia sobre el uso de métodos algorítmicos por parte del gobierno central es casi totalmente inexistente”. Es en vista de esto que se le ofrece este consejo. Exageración, inexactitud y mal uso El otro elemento de contexto es la gran exageración en torno a la «IA», en particular a la «IA generativa». Por lo general, la mayoría de los debates sobre el uso de la IA en el sector público se expresan en términos de «puede», «podría» o «tiene potencial para», con afirmaciones de importantes beneficios transformadores en perspectiva. Todavía existe poca evidencia para sustentar estas afirmaciones. Para contrarrestarlas, se argumenta que los usos propuestos específicos son inverosímiles, lo que socava muchos de los beneficios declarados. En cualquier investigación futura, «no sabía» no va a ser una respuesta adecuada a los desafíos a la inacción de un ministro. Por ejemplo, el Servicio Digital del Gobierno experimentó con una interfaz de chatbot para Gov.uk, y descubrió que las respuestas no alcanzaban el nivel de precisión exigido para un sitio donde la precisión fáctica es crucial. Por la misma razón (además de su falta de explicabilidad y coherencia), no son adecuadas para su uso en procedimientos administrativos legales. Hay afirmaciones de que tales herramientas podrían resumir las consultas de políticas. Sin embargo, un resumen de chatbot no permitirá determinar las posiciones matizadas de los grupos de interesados ​​sobre la política. Además, incluso si es preciso, un resumen automatizado no cumple la función democrática de una consulta, que es permitir que se escuchen todas las voces y se demuestre que se escuchan. Problemas similares se aplican al uso de estas herramientas para generar asesoramiento sobre políticas. En todo el mundo, se han encontrado casos de sesgo e inexactitud en los sistemas predictivos y de clasificación utilizados en la administración pública. Una guía reciente del Departamento de Educación y la Unidad de Adopción Responsable de Tecnología (RTA) del Departamento de Ciencia, Innovación y Tecnología sobre el uso de herramientas de análisis de datos en la atención social infantil advierte específicamente sobre los usos predictivos, citando hallazgos de que no han demostrado ser eficaces para identificar riesgos individuales. Los métodos que se utilizan para la detección de fraudes probablemente tengan problemas similares, en particular con las predicciones de «falsos positivos» que conducen a que se interfiera con personas inocentes o se las castigue. Los métodos de clasificación relacionados tienen implicaciones políticas y sociales alarmantes. Mitigación de su riesgo La RTA y la Oficina Central de Datos y Digitales desarrollaron y publicaron ATRS como «un marco para compartir información accesible, abierta y proactiva sobre el uso de herramientas algorítmicas en todo el sector público». El 29 de marzo de 2024, la respuesta del entonces gobierno a la consulta sobre su libro blanco de IA anunció que ATRS se convertiría en un requisito para los departamentos gubernamentales del Reino Unido, pero esto aún no se ha implementado ni para los sistemas actuales ni futuros. Por lo tanto, existe una herramienta para mejorar significativamente la visibilidad y garantizar la seguridad de los usos de algoritmos e IA en el gobierno, a la espera de una implementación efectiva. Por lo tanto, su posición en relación con los posibles daños al público y al gobierno está muy expuesta. En cualquier investigación futura, «no sabía» no va a ser una respuesta adecuada a los desafíos a la inacción de un ministro. Como comienzo para remediar esto, se debe completar un ATRS y examinar críticamente los riesgos, para cada sistema relevante en uso o propuesto. Esto es urgente ya que muchas organizaciones externas están buscando casos de daños a personas para impugnar en los tribunales. Sus primeras semanas en el cargo son la oportunidad perfecta para examinar su herencia, identificar los problemas y actuar con decisión para cerrar los sistemas potencialmente dañinos. La publicación completa de los documentos del ATRS y las decisiones que tome en base a ellos serán una contribución importante para aumentar la confianza pública en el trabajo del departamento. Paul Waller es director de investigación en Thorney Isle Research.