Sin embargo, hay un gran elefante en la habitación. Sin marcos de responsabilidad claros, esta hoja de ruta de 50 puntos corre el riesgo de convertirse en una historia de advertencia en lugar de una historia de éxito. Cuando un sistema de IA alucina, exhibe un sesgo o sufre una violación de seguridad, ¿quién asume la responsabilidad? En este momento, la respuesta a menudo es ‘depende’, y que la incertidumbre es la mayor amenaza de la innovación. De hecho, después de haber trabajado en los sectores del gobierno, la educación y los comerciales durante más de dos décadas, he visto cómo las brechas de responsabilidad pueden descarrilar incluso los programas digitales mejor intencionados. El impulso de IA del gobierno no será diferente a menos que nos tomemos en serio el establecimiento de líneas claras de responsabilidad desde la adquisición hasta el despliegue. Por qué la transparencia de adquisiciones no es opcional con demasiada frecuencia, los equipos de adquisición se comprometen con las herramientas de IA sin comprender en qué modelos de datos están capacitados, cómo se toman las decisiones o si la IA es incluso la solución adecuada para ellos. La opacidad de los proveedores de TI juega un papel importante aquí. Muchos proveedores tratan los datos y algoritmos de capacitación como secretos propietarios, que ofrecen solo descripciones de alto nivel en lugar de transparencia significativa. Mientras tanto, el personal de adquisiciones a menudo no está capacitado para evaluar los riesgos específicos de la IA, por lo que las preguntas críticas sobre el sesgo o la explicación simplemente no se hacen. La presión política para entregar una «solución de IA» rápidamente puede anular la diligencia debida adecuada. La IA se ha convertido en un marcador de innovación que a veces puede ferroviar el sentido común básico; en cambio, debemos dar un paso atrás y preguntar si esta es realmente la herramienta adecuada para el trabajo. Cuando las decisiones involucran múltiples departamentos y ninguna persona es totalmente responsable de validar los fundamentos técnicos de la IA, las brechas se vuelven inevitables. Los compradores deben hacerse prácticos con las herramientas antes de implementarlas y usar herramientas de evaluación comparativa que puedan medir el sesgo. Si los proveedores muestran vacilación sobre la transparencia, los compradores deben alejarse. Diseñando la responsabilidad desde el primer día, ¿cómo es la responsabilidad significativa del proveedor en la práctica? Comienza con contratos que incluyen la responsabilidad de línea por línea para cada decisión que toma un sistema de IA. Los proveedores deben proporcionar flujos de decisión completamente transparentes y explicar su razonamiento para resultados específicos, qué datos usaron y por qué. Los compradores deberían poder hablar con clientes de referencia que ya han implementado sistemas similares basados ​​en IA. Lo más importante es que los proveedores deben demostrar cómo se pueden rastrear, auditar y explicar sus sistemas cuando las cosas salen mal. Prefiero un enfoque de estilo GDPR para asignar la responsabilidad, uno que está vinculado al control. Si los proveedores insisten en vender cajas negras con una transparencia mínima, deben aceptar la mayoría del riesgo. En Flipside, cuanto más transparencia, configurabilidad y control dan a los compradores, más pueden compartir ese riesgo. Por ejemplo, si un proveedor lanza un nuevo modelo capacitado en un conjunto de datos que cambia severamente el sesgo, es decir, pero si un comprador compra una herramienta basada en trapo y introduce accidentalmente datos confidenciales, la responsabilidad recae en el comprador. Los contratos deben identificar claramente cada posible escenario de falla, asignar responsabilidad y detectar consecuencias. Para evitar el destino de los drones de Amazon y los automóviles sin conductor, es decir, las tecnologías que existen pero que permanecen atrapadas en el limbo legal debido a las cadenas de responsabilidad poco claras, los proyectos de IA del sector público deben diseñarse con supervisión humana desde el principio. Siempre debe haber alguien para verificar las salidas y decisiones, con altos umbrales iniciales que se relajan gradualmente a medida que los sistemas demuestran su precisión de manera consistente. La clave es evitar situaciones en las que demasiadas partes crean áreas grises de responsabilidad. Los profesionales legales han pasado años bloqueando el progreso en vehículos autónomos y drones de entrega precisamente porque las preguntas de responsabilidad permanecen sin respuesta. No podemos dejar que la IA siga el mismo camino. El control de la realidad del seguro y ¿qué pasa con el lugar del sector de seguros en todo esto? La verdad contundente, al menos en este momento, es que las aseguradoras no están listas para los riesgos específicos de la IA, y ese es un problema masivo para la adopción del sector público. El riesgo de precios de las aseguradoras basado en datos de pérdidas históricas, pero la IA está evolucionando tan rápido que prácticamente no hay precedentes para las reclamaciones que involucran a la deriva del modelo, un daño inducido por sesgo o errores de alucinación sistémica. En las implementaciones de IA que involucran múltiples partes, los aseguradores luchan por evaluar la exposición sin la asignación de riesgos contractuales claros. La opacidad técnica agrava el problema. Los aseguradores rara vez obtienen una visión suficiente sobre cómo funcionan los modelos o en qué datos están entrenados, lo que hace que sea casi imposible cuantificar los riesgos en torno al sesgo o los ataques de inyección inmediatos. La incertidumbre regulatoria agrega otra capa de complejidad. La Ley de AI de la UE, el enfoque pro-innovación del Reino Unido y las regulaciones específicas del sector están en flujo, y esto dificulta que las aseguradoras establezcan términos consistentes y que los compradores sepan qué cobertura necesitan. La proliferación de marcos y políticas de IA es alentadora, pero sin mecanismos de aplicación, corren el riesgo de convertirse en nada más que un papeleo costoso. Necesitamos incrustar la responsabilidad en todos los estándares del gobierno para convertirlos en un facilitador en lugar de un bloqueador. El plan de acción de las oportunidades de IA del gobierno es técnicamente posible, pero solo si construimos medidas de responsabilidad claras desde el principio en lugar de tratarlos como una ocurrencia tardía. Alastair Williamson-Pound es director de tecnología en Mercator Digital, con más de 20 años de experiencia en los sectores gubernamental, educativo y comercial. Ha dirigido los principales programas para HMRC, GDS y Gobierno Central.