Las autoridades locales necesitan más apoyo para adquirir de manera responsable sistemas de inteligencia artificial (IA), ya que las directrices gubernamentales existentes no brindan una descripción clara o integral de cómo adquirir IA en interés público, advirtió el Instituto Ada Lovelace (ALI). Según un informe de investigación publicado por el grupo de la sociedad civil, los consejos enfrentan desafíos importantes al navegar por las orientaciones y la legislación existentes porque estos documentos están abiertos a interpretación y carecen de claridad sobre aspectos clave de la IA, incluido cómo poner en práctica consideraciones éticas. ALI dijo que su investigación se produce en medio de crecientes expectativas y optimismo sobre el potencial de la IA en el sector público, pero advirtió que los beneficios de la tecnología sólo se lograrán si el sector público puede garantizar que su adopción sea segura, efectiva y de interés público. Basado en un análisis de 16 documentos de orientación, legislación y políticas relevantes para la adquisición de IA y sistemas basados ​​en datos, todos los cuales fueron publicados entre 2010 y 2024, el informe dice que hay “claridad insuficiente” sobre cómo aplicar conceptos como la equidad. , cómo definir el beneficio público y cómo garantizar que el uso de la IA sea transparente y comprensible para quienes se ven afectados por su uso. Añadió que, dado que muchas tecnologías de IA son suministradas por el sector privado, el proceso de adquisición puede y debe desempeñar un papel importante a la hora de evaluar la eficacia de las posibles soluciones, anticipar y mitigar los riesgos y garantizar que cualquier implementación sea proporcionada, legítima y conforme a deberes más amplios del sector público. Sin embargo, el informe señaló que esto también plantea preguntas sobre la experiencia técnica dentro del gobierno local (lo que, según ALI, es una brecha en la guía actual) y cómo los equipos de adquisiciones pueden estar equipados y empoderados para interrogar a los proveedores sobre los impactos de su tecnología y las rutas de reparación. durante el proceso de adquisición. “Nuestra investigación destaca la necesidad de una mayor claridad en torno a las directrices y responsabilidades, y a una reparación ejecutable. Los equipos de adquisiciones necesitan un mejor apoyo y una orientación más clara para poder adquirir una IA que sea eficaz, ética y en interés de las personas y la sociedad”, dijo la autora principal Anna Studman, investigadora principal de ALI. “La IA y los sistemas basados ​​en datos pueden dañar gravemente la confianza pública y reducir el beneficio público si las predicciones o los resultados que producen son discriminatorios, dañinos o simplemente ineficaces. Las adquisiciones brindan una oportunidad vital para que las autoridades locales interroguen a los proveedores sobre los posibles impactos sociales de sus tecnologías”. Para ayudar a los ayuntamientos a mejorar sus esfuerzos de adquisición de IA, ALI dijo que debe haber una consolidación de la orientación del gobierno central que brinde claridad sobre las obligaciones legales y las mejores prácticas a lo largo del ciclo de vida de adquisición de un sistema; la creación de un estándar algorítmico de evaluación de impacto que los ayuntamientos puedan utilizar a la hora de comprar; y la creación de consenso sobre cómo el sector público define términos clave como «justicia» y «transparencia». Específicamente en materia de transparencia, ALI agregó que los organismos de gobierno local deberán adoptar un “enfoque holístico” que analice los procesos internos y la competencia leal, así como también cómo las comunidades están informadas y empoderadas para cuestionar las decisiones tomadas sobre ellos por sistemas automatizados que utilizan sus datos. «Es esencial que los compradores del sector público tengan confianza en los productos que compran, y ni ellos ni el público corren riesgo», dijo Imogen Parker, directora asociada de ALI. “Incorporar un proceso de adquisiciones sólido y ético en el contexto de presupuestos reducidos es, por supuesto, un desafío importante. Pero es importante considerar también el costo de no hacer esto, tanto desde el punto de vista financiero como ético, algo demostrado muy claramente por el escándalo de Post Office Horizon”. El informe recomendó además mejorar las habilidades de los equipos de adquisiciones de los gobiernos locales sobre cómo utilizar y auditar los sistemas de IA, y que el gobierno complete la implementación del Estándar de Registro de Transparencia Algorítmica (ATRS) en todo el sector público, no solo en los departamentos del gobierno central. Si bien el ATRS fue creado por la Oficina Central de Datos y Digitalización, entonces parte de la Oficina del Gabinete, en cooperación con el Centro de Ética e Innovación de Datos del gobierno en noviembre de 2021, no ha sido adoptado ampliamente ni fue promovido por el gobierno conservador en su documento técnico sobre IA de marzo de 2023, que establece propuestas de gobernanza para la tecnología. Anteriormente, ALI hizo advertencias similares sobre el despliegue de «fundamentos» o modelos de lenguaje grande (LLM) en todo el sector público en octubre de 2023, señalando los riesgos en torno a cuestiones como el sesgo y la discriminación, las violaciones de la privacidad, la desinformación, la seguridad y la dependencia excesiva de industria, daños a la fuerza laboral y acceso desigual. Añadió además que existe un riesgo real de que el sector público adopte estos modelos porque son una nueva tecnología, y no porque sean la mejor solución a un problema. “Por lo tanto, los usuarios del sector público deberían considerar cuidadosamente los contrafactuales antes de implementar modelos básicos. Esto significa comparar los casos de uso propuestos con alternativas más maduras y probadas que podrían ser más efectivas, ofrecer una mejor relación calidad-precio o presentar menos riesgos; por ejemplo, emplear un sistema de inteligencia artificial limitado o un empleado humano para brindar servicio al cliente en lugar de construir un modelo básico. -Chatbot impulsado «.