En nuestro último artículo, Una guía práctica para la adquisición de sistemas de IA, explicamos por qué se necesita el estándar IEEE P3119 para la adquisición de inteligencia artificial (IA) y sistemas de decisión automatizados (ADS). En este artículo, brindamos más detalles sobre el borrador del estándar y el uso de “sandboxes” regulatorios para probar el estándar en desarrollo frente a casos de uso de adquisiciones de IA en el mundo real. Fortalecimiento de las prácticas de adquisición de IAEl borrador del estándar IEEE P3119 está diseñado para ayudar a fortalecer los enfoques de adquisición de IA, utilizando la diligencia debida para garantizar que las agencias evalúen críticamente los servicios y herramientas de IA que adquieren. El estándar puede brindar a las agencias gubernamentales un método para garantizar la transparencia de los proveedores de IA sobre los riesgos asociados. El estándar no pretende reemplazar los procesos de adquisición tradicionales, sino más bien optimizar las prácticas establecidas. El enfoque basado en riesgos de IEEE P3119 para la adquisición de IA sigue los principios generales del tratado de Diseño Éticamente Alineado de IEEE, que prioriza el bienestar humano. El borrador de la guía está escrito en un lenguaje accesible e incluye herramientas prácticas y rúbricas. Por ejemplo, incluye una guía de puntuación para ayudar a analizar las afirmaciones que hacen los proveedores sobre sus soluciones de inteligencia artificial. El estándar IEEE P3119 se compone de cinco procesos que ayudarán a los usuarios a identificar, mitigar y monitorear los daños comúnmente asociados con los sistemas de IA de alto riesgo, como los sistemas de decisión automatizados que se encuentran en la educación, la salud, el empleo y muchas áreas del sector público. A continuación se muestra una descripción general de los cinco procesos del estándar. Gisele WatersPasos para definir problemas y necesidades comercialesLos cinco procesos son 1) definir el problema y los requisitos de la solución, 2) evaluar proveedores, 3) evaluar soluciones, 4) negociar contratos y 5) monitorear contratos. Estos ocurren en cuatro etapas: preadquisición, adquisición, contratación y posadquisición. Los procesos se integrarán a lo que ya sucede en los ciclos de adquisiciones globales convencionales. Mientras el grupo de trabajo desarrollaba el estándar, descubrió que los enfoques de adquisiciones tradicionales a menudo se saltan una etapa previa a la adquisición para definir el problema o la necesidad comercial. Hoy en día, los proveedores de IA ofrecen soluciones en busca de problemas en lugar de abordar problemas que necesitan soluciones. Es por eso que el grupo de trabajo creó herramientas para ayudar a las agencias a definir un problema y evaluar el apetito de riesgo de la organización. Estas herramientas ayudan a las agencias a planificar adquisiciones de manera proactiva y delinear los requisitos de solución adecuados. Durante la etapa en la que se solicitan ofertas a los proveedores (a menudo denominada etapa de “solicitud de propuestas” o “invitación a licitar”), los procesos de evaluación de proveedores y de evaluación de soluciones funcionan en conjunto para proporcionar un análisis más profundo. Se evalúan y califican las prácticas y políticas organizativas de gobierno de la IA del proveedor, al igual que sus soluciones. Con el estándar, los compradores deberán obtener información sólida sobre los sistemas de inteligencia artificial de destino para comprender mejor lo que se vende. Estos requisitos de transparencia de la IA faltan en las prácticas de adquisición existentes. La etapa de contratación aborda las lagunas en las plantillas de contratos de software y tecnología de la información existentes, que no evalúan adecuadamente los matices y riesgos de los sistemas de IA. El estándar ofrece un lenguaje contractual de referencia inspirado en los términos contractuales para algoritmos de Ámsterdam, las cláusulas contractuales modelo europeas y las cláusulas emitidas por Society for Computers and Law AI Group. “El grupo de trabajo creó herramientas para ayudar a las agencias a definir un problema y evaluar el apetito de riesgo de la organización. Estas herramientas ayudan a las agencias a planificar adquisiciones de manera proactiva y delinear los requisitos de solución adecuados”. Los proveedores podrán ayudar a controlar los riesgos que identificaron en los procesos anteriores alineándolos con cláusulas seleccionadas en sus contratos. Este lenguaje contractual de referencia puede ser indispensable para las agencias que negocian con proveedores de IA. Cuando el conocimiento técnico del producto que se está adquiriendo es extremadamente limitado, contar con cláusulas seleccionadas puede ayudar a las agencias a negociar con los proveedores de IA y defender la protección del interés público. La etapa posterior a la adquisición implica el seguimiento de los riesgos identificados, así como de los términos y condiciones incluidos en el contrato. Los indicadores y métricas clave de desempeño también se evalúan continuamente. Los cinco procesos ofrecen un enfoque basado en riesgos que la mayoría de las agencias pueden aplicar en una variedad de casos de uso de adquisiciones de IA. Los sandboxes exploran la innovación y los procesos existentes Antes de la implementación en el mercado de los sistemas de IA, los sandboxes son oportunidades para explorar y evaluar los procesos existentes para la adquisición de soluciones de IA. Los sandboxes a veces se utilizan en el desarrollo de software. Son entornos aislados donde se pueden probar nuevos conceptos y simulaciones. El AI Sandbox de Harvard, por ejemplo, permite a los investigadores universitarios estudiar los riesgos de seguridad y privacidad en la IA generativa. Los sandbox regulatorios son entornos de prueba de la vida real para tecnologías y procedimientos que aún no cumplen plenamente con las leyes y regulaciones existentes. Por lo general, se habilitan durante un período de tiempo limitado en un “espacio seguro” donde las restricciones legales a menudo se “reducen” y puede ocurrir una exploración ágil de la innovación. Los entornos de pruebas regulatorios pueden contribuir a la elaboración de leyes basadas en evidencia y pueden proporcionar retroalimentación que permita a las agencias identificar posibles desafíos a las nuevas leyes, estándares y tecnologías. Buscamos un entorno de pruebas regulatorio para probar nuestras suposiciones y los componentes del estándar en desarrollo, con el objetivo de explorar cómo funcionaría el estándar en casos de uso de IA en el mundo real. En busca de socios sandbox el año pasado, colaboramos con 12 agencias gubernamentales que representan jurisdicciones locales, regionales y transnacionales. Todas las agencias expresaron interés en la adquisición responsable de IA. Juntos, abogamos por una colaboración de “prueba de concepto” en la que la Asociación de Estándares IEEE, los miembros del grupo de trabajo IEEE P3119 y nuestros socios pudieran probar la guía y las herramientas del estándar en comparación con un caso de uso de adquisición de IA retrospectivo o futuro. Durante varios meses de reuniones hemos aprendido qué agencias tienen personal con la autoridad y el ancho de banda necesarios para asociarse con nosotros. Dos entidades en particular se han mostrado prometedoras como socios potenciales del sandbox: una agencia que representa a la Unión Europea y un consorcio de consejos de gobiernos locales en el Reino Unido. Nuestra aspiración es utilizar un entorno de pruebas para evaluar las diferencias entre los procedimientos actuales de adquisición de IA y lo que podría ser si el borrador del estándar adapta el status quo. Para beneficio mutuo, el entorno de pruebas probaría las fortalezas y debilidades tanto de las prácticas de adquisición existentes como de nuestros componentes redactados IEEE P3119. Después de conversaciones con agencias gubernamentales, nos enfrentamos a la realidad de que una colaboración sandbox requiere autorizaciones y consideraciones prolongadas por parte del IEEE y la entidad gubernamental. La agencia europea, por ejemplo, vela por el cumplimiento de la Ley de IA de la UE, el Reglamento general de protección de datos y sus propios regímenes de adquisición mientras gestiona los procesos de adquisición. Del mismo modo, los consejos del Reino Unido incorporan requisitos de su entorno regulatorio de múltiples niveles. Esos requisitos, si bien no son sorprendentes, deben reconocerse como desafíos técnicos y políticos sustanciales para lograr la aprobación de los entornos sandbox. El papel de los entornos de pruebas regulatorios, especialmente para los servicios públicos habilitados por IA en dominios de alto riesgo, es fundamental para informar la innovación en las prácticas de contratación. Un entorno de pruebas regulatorio puede ayudarnos a saber si un estándar voluntario basado en el consenso puede marcar la diferencia en la adquisición de soluciones de IA. Probar el estándar en colaboración con socios de sandbox le daría más posibilidades de una adopción exitosa. Esperamos continuar nuestras discusiones y compromisos con nuestros socios potenciales. Se espera que el estándar IEEE 3119 aprobado se publique a principios del próximo año y posiblemente antes de finales de este año. Artículos de su sitioArtículos relacionados en la Web
Source link
