En nuestro último artículo, Una guía práctica para la adquisición de sistemas de IA, explicamos por qué se necesita el estándar IEEE P3119 para la adquisición de inteligencia artificial (IA) y sistemas de decisión automatizados (ADS). En este artículo, brindamos más detalles sobre el borrador del estándar y el uso de “sandboxes” regulatorios para probar el estándar en desarrollo frente a casos de uso de adquisiciones de IA en el mundo real. Fortalecimiento de las prácticas de adquisición de IAEl borrador del estándar IEEE P3119 está diseñado para ayudar a fortalecer los enfoques de adquisición de IA, utilizando la diligencia debida para garantizar que las agencias evalúen críticamente los servicios y herramientas de IA que adquieren. El estándar puede brindar a las agencias gubernamentales un método para garantizar la transparencia de los proveedores de IA sobre los riesgos asociados. El estándar no pretende reemplazar los procesos de adquisición tradicionales, sino más bien optimizar las prácticas establecidas. El enfoque basado en riesgos de IEEE P3119 para la adquisición de IA sigue los principios generales del tratado de Diseño Éticamente Alineado de IEEE, que prioriza el bienestar humano. El borrador de la guía está escrito en un lenguaje accesible e incluye herramientas prácticas y rúbricas. Por ejemplo, incluye una guía de puntuación para ayudar a analizar las afirmaciones que hacen los proveedores sobre sus soluciones de inteligencia artificial. El estándar IEEE P3119 se compone de cinco procesos que ayudarán a los usuarios a identificar, mitigar y monitorear los daños comúnmente asociados con los sistemas de IA de alto riesgo, como los sistemas de decisión automatizados que se encuentran en la educación, la salud, el empleo y muchas áreas del sector público. A continuación se muestra una descripción general de los cinco procesos del estándar. Gisele WatersPasos para definir problemas y necesidades comercialesLos cinco procesos son 1) definir el problema y los requisitos de la solución, 2) evaluar proveedores, 3) evaluar soluciones, 4) negociar contratos y 5) monitorear contratos. Estos ocurren en cuatro etapas: preadquisición, adquisición, contratación y posadquisición. Los procesos se integrarán a lo que ya sucede en los ciclos de adquisiciones globales convencionales. Mientras el grupo de trabajo desarrollaba el estándar, descubrió que los enfoques de adquisiciones tradicionales a menudo se saltan una etapa previa a la adquisición para definir el problema o la necesidad comercial. Hoy en día, los proveedores de IA ofrecen soluciones en busca de problemas en lugar de abordar problemas que necesitan soluciones. Es por eso que el grupo de trabajo creó herramientas para ayudar a las agencias a definir un problema y evaluar el apetito de riesgo de la organización. Estas herramientas ayudan a las agencias a planificar adquisiciones de manera proactiva y delinear los requisitos de solución adecuados. Durante la etapa en la que se solicitan ofertas a los proveedores (a menudo denominada etapa de “solicitud de propuestas” o “invitación a licitar”), los procesos de evaluación de proveedores y de evaluación de soluciones funcionan en conjunto para proporcionar un análisis más profundo. Se evalúan y califican las prácticas y políticas organizativas de gobierno de la IA del proveedor, al igual que sus soluciones. Con el estándar, los compradores deberán obtener información sólida sobre los sistemas de inteligencia artificial de destino para comprender mejor lo que se vende. Estos requisitos de transparencia de la IA faltan en las prácticas de adquisición existentes. La etapa de contratación aborda las lagunas en las plantillas de contratos de software y tecnología de la información existentes, que no evalúan adecuadamente los matices y riesgos de los sistemas de IA. El estándar ofrece un lenguaje contractual de referencia inspirado en los términos contractuales para algoritmos de Ámsterdam, las cláusulas contractuales modelo europeas y las cláusulas emitidas por Society for Computers and Law AI Group. “El grupo de trabajo creó herramientas para ayudar a las agencias a definir un problema y evaluar el apetito de riesgo de la organización. Estas herramientas ayudan a las agencias a planificar adquisiciones de manera proactiva y delinear los requisitos de solución adecuados”. Los proveedores podrán ayudar a controlar los riesgos que identificaron en los procesos anteriores alineándolos con cláusulas seleccionadas en sus contratos. Este lenguaje contractual de referencia puede ser indispensable para las agencias que negocian con proveedores de IA. Cuando el conocimiento técnico del producto que se está adquiriendo es extremadamente limitado, contar con cláusulas seleccionadas puede ayudar a las agencias a negociar con los proveedores de IA y defender la protección del interés público. La etapa posterior a la adquisición implica el seguimiento de los riesgos identificados, así como de los términos y condiciones incluidos en el contrato. Los indicadores y métricas clave de desempeño también se evalúan continuamente. Los cinco procesos ofrecen un enfoque basado en riesgos que la mayoría de las agencias pueden aplicar en una variedad de casos de uso de adquisiciones de IA. Los sandboxes exploran la innovación y los procesos existentes Antes de la implementación en el mercado de los sistemas de IA, los sandboxes son oportunidades para explorar y evaluar los procesos existentes para la adquisición de soluciones de IA. Los sandboxes a veces se utilizan en el desarrollo de software. Son entornos aislados donde se pueden probar nuevos conceptos y simulaciones. El AI Sandbox de Harvard, por ejemplo, permite a los investigadores universitarios estudiar los riesgos de seguridad y privacidad en la IA generativa. Los sandbox regulatorios son entornos de prueba de la vida real para tecnologías y procedimientos que aún no cumplen plenamente con las leyes y regulaciones existentes. Por lo general, se habilitan durante un período de tiempo limitado en un “espacio seguro” donde las restricciones legales a menudo se “reducen” y puede ocurrir una exploración ágil de la innovación. Los entornos de pruebas regulatorios pueden contribuir a la elaboración de leyes basadas en evidencia y pueden proporcionar retroalimentación que permita a las agencias identificar posibles desafíos a las nuevas leyes, estándares y tecnologías. Buscamos un entorno de pruebas regulatorio para probar nuestras suposiciones y los componentes del estándar en desarrollo, con el objetivo de explorar cómo funcionaría el estándar en casos de uso de IA en el mundo real. En busca de socios sandbox el año pasado, colaboramos con 12 agencias gubernamentales que representan jurisdicciones locales, regionales y transnacionales. Todas las agencias expresaron interés en la adquisición responsable de IA. Juntos, abogamos por una colaboración de “prueba de concepto” en la que la Asociación de Estándares IEEE, los miembros del grupo de trabajo IEEE P3119 y nuestros socios pudieran probar la guía y las herramientas del estándar en comparación con un caso de uso de adquisición de IA retrospectivo o futuro. Durante varios meses de reuniones hemos aprendido qué agencias tienen personal con la autoridad y el ancho de banda necesarios para asociarse con nosotros. Dos entidades en particular se han mostrado prometedoras como socios potenciales del sandbox: una agencia que representa a la Unión Europea y un consorcio de consejos de gobiernos locales en el Reino Unido. Nuestra aspiración es utilizar un entorno de pruebas para evaluar las diferencias entre los procedimientos actuales de adquisición de IA y lo que podría ser si el borrador del estándar adapta el status quo. Para beneficio mutuo, el entorno de pruebas probaría las fortalezas y debilidades tanto de las prácticas de adquisición existentes como de nuestros componentes redactados IEEE P3119. Después de conversaciones con agencias gubernamentales, nos enfrentamos a la realidad de que una colaboración sandbox requiere autorizaciones y consideraciones prolongadas por parte del IEEE y la entidad gubernamental. La agencia europea, por ejemplo, vela por el cumplimiento de la Ley de IA de la UE, el Reglamento general de protección de datos y sus propios regímenes de adquisición mientras gestiona los procesos de adquisición. Del mismo modo, los consejos del Reino Unido incorporan requisitos de su entorno regulatorio de múltiples niveles. Esos requisitos, si bien no son sorprendentes, deben reconocerse como desafíos técnicos y políticos sustanciales para lograr la aprobación de los entornos sandbox. El papel de los entornos de pruebas regulatorios, especialmente para los servicios públicos habilitados por IA en dominios de alto riesgo, es fundamental para informar la innovación en las prácticas de contratación. Un entorno de pruebas regulatorio puede ayudarnos a saber si un estándar voluntario basado en el consenso puede marcar la diferencia en la adquisición de soluciones de IA. Probar el estándar en colaboración con socios de sandbox le daría más posibilidades de una adopción exitosa. Esperamos continuar nuestras discusiones y compromisos con nuestros socios potenciales. Se espera que el estándar IEEE 3119 aprobado se publique a principios del próximo año y posiblemente antes de finales de este año. Artículos de su sitioArtículos relacionados en la Web
Source link
Etiqueta: ieee-usa
Con la rápida proliferación de los sistemas de IA, los responsables de las políticas públicas y los líderes de la industria exigen una orientación más clara sobre la gestión de la tecnología. La mayoría de los miembros del IEEE de EE. UU. expresan que el enfoque regulatorio actual para la gestión de sistemas de inteligencia artificial (IA) es inadecuado. También dicen que priorizar la gobernanza de la IA debería ser una cuestión de política pública, al igual que cuestiones como la atención sanitaria, la educación, la inmigración y el medio ambiente. Esto es de acuerdo con los resultados de una encuesta realizada por IEEE para el Comité de Políticas de IA de IEEE-USA. Somos presidentes del Comité de Políticas de IA y sabemos que los miembros de IEEE son un recurso crucial e invaluable para obtener conocimientos informados sobre la tecnología. Para guiar nuestro trabajo de promoción de políticas públicas en Washington, DC y comprender mejor las opiniones sobre la gobernanza de los sistemas de IA en los EE. UU., IEEE encuestó una muestra aleatoria de 9.000 miembros activos de IEEE-USA más 888 miembros activos que trabajan en IA y redes neuronales. La encuesta no definió intencionalmente el término IA. En cambio, pidió a los encuestados que utilizaran su propia interpretación de la tecnología al responder. Los resultados demostraron que, incluso entre los miembros del IEEE, no existe un consenso claro sobre una definición de IA. Existen variaciones significativas en la forma en que los miembros piensan sobre los sistemas de IA, y esta falta de convergencia tiene repercusiones en las políticas públicas. En general, se preguntó a los miembros su opinión sobre cómo regir el uso de algoritmos en la toma de decisiones consiguiente y sobre la privacidad de los datos, y si los EE.UU. El gobierno debería aumentar la capacidad de su fuerza laboral y su experiencia en IA. El estado de la gobernanza de la IA Durante años, IEEE-USA ha estado abogando por una gobernanza sólida para controlar el impacto de la IA en la sociedad. Es evidente que los responsables de las políticas públicas estadounidenses luchan con la regulación de los datos que impulsan los sistemas de IA. Las leyes federales existentes protegen ciertos tipos de datos financieros y de salud, pero el Congreso aún tiene que aprobar una legislación que implementaría un estándar nacional de privacidad de datos, a pesar de numerosos intentos de hacerlo. La protección de datos para los estadounidenses es fragmentaria y el cumplimiento de las complejas leyes federales y estatales de privacidad de datos puede resultar costoso para la industria. Numerosos formuladores de políticas estadounidenses han defendido que la gobernanza de la IA no puede ocurrir sin una ley nacional de privacidad de datos que proporcione estándares y barreras técnicas en torno a la recopilación y el uso de datos, particularmente en el mercado de la información disponible comercialmente. Los datos son un recurso crítico para modelos de lenguaje grande de terceros, que los utilizan para entrenar herramientas de inteligencia artificial y generar contenido. Como ha reconocido el gobierno de Estados Unidos, el mercado de información disponible comercialmente permite a cualquier comprador obtener hordas de datos sobre individuos y grupos, incluidos detalles que de otro modo estarían protegidos por la ley. La cuestión plantea importantes preocupaciones sobre la privacidad y las libertades civiles. Resulta que la regulación de la privacidad de los datos es un área en la que los miembros del IEEE tienen puntos de vista de consenso fuertes y claros. Conclusiones de la encuesta La mayoría de los encuestados (alrededor del 70 por ciento) dijo que el enfoque regulatorio actual es inadecuado. Las respuestas individuales nos dicen más. Para brindar contexto, hemos dividido los resultados en cuatro áreas de discusión: gobernanza de las políticas públicas relacionadas con la IA; riesgo y responsabilidad; confianza; y perspectivas comparadas. Gobernanza de la IA como política pública Aunque existen opiniones divergentes en torno a aspectos de la gobernanza de la IA, lo que destaca es el consenso en torno a la regulación de la IA en casos específicos. Más del 93 por ciento de los encuestados apoyan la protección de la privacidad de los datos individuales y están a favor de la regulación para abordar la información errónea generada por la IA. Alrededor del 84 por ciento apoya que se requieran evaluaciones de riesgos para productos de IA de riesgo medio y alto. El ochenta por ciento pidió imponer requisitos de transparencia o explicabilidad a los sistemas de inteligencia artificial, y el 78 por ciento pidió restricciones a los sistemas de armas autónomos. Más del 72 por ciento de los miembros apoyan políticas que restringen o gobiernan el uso del reconocimiento facial en ciertos contextos, y casi el 68 por ciento apoyan políticas que regulan el uso de algoritmos en decisiones importantes. Hubo un fuerte acuerdo entre los encuestados en cuanto a priorizar la gobernanza de la IA como una cuestión de política pública. Dos tercios dijeron que a la tecnología se le debería dar al menos la misma prioridad que a otras áreas dentro del ámbito del gobierno, como la atención médica, la educación, la inmigración y el medio ambiente. El ochenta por ciento apoya el desarrollo y uso de la IA, y más del 85 por ciento dice que debe gestionarse con cuidado, pero los encuestados no estuvieron de acuerdo sobre cómo y quién debería llevar a cabo dicha gestión. Si bien solo un poco más de la mitad de los encuestados dijeron que el gobierno debería regular la IA, este dato debe yuxtaponerse con el claro apoyo de la mayoría a la regulación gubernamental en áreas específicas o escenarios de casos de uso. Solo un porcentaje muy pequeño de computadoras no centradas en la IA Los científicos e ingenieros de software pensaron que las empresas privadas deberían autorregular la IA con una mínima supervisión gubernamental. Por el contrario, casi la mitad de los profesionales de la IA prefieren la supervisión gubernamental. Más de tres cuartas partes de los miembros del IEEE apoyan la idea de que los órganos rectores de todo tipo deberían hacer más para controlar los impactos de la IA. Riesgo y responsabilidad Varias de las preguntas de la encuesta se referían a la percepción del riesgo de la IA. Casi el 83 por ciento de los miembros dijeron que el público no está suficientemente informado sobre la IA. Más de la mitad está de acuerdo en que los beneficios de la IA superan sus riesgos. En términos de responsabilidad de los sistemas de IA, poco más de la mitad dijo que los desarrolladores deberían asumir la responsabilidad principal de garantizar que los sistemas sean seguros y eficaces. Aproximadamente un tercio dijo que el gobierno debería asumir la responsabilidad. Organizaciones confiables Los encuestados clasificaron a las instituciones académicas, las organizaciones sin fines de lucro y las pequeñas y medianas empresas de tecnología como las entidades más confiables para el diseño, desarrollo e implementación responsables. Las tres facciones menos confiables son las grandes empresas de tecnología, las organizaciones internacionales y los gobiernos. Las entidades en las que se confía más para gestionar o gobernar la IA de manera responsable son las instituciones académicas y las instituciones de terceros independientes. Las menos confiables son las grandes empresas de tecnología y las organizaciones internacionales. Perspectivas comparativas Los miembros demostraron una fuerte preferencia por regular la IA para mitigar los riesgos sociales y éticos, y el 80 por ciento de los profesionales de ciencia e ingeniería que no pertenecen a la IA y el 72 por ciento de los trabajadores de IA respaldan esta opinión. El 30 por ciento de los profesionales que trabajan en IA expresan que la regulación podría sofocar la innovación, en comparación con aproximadamente el 19 por ciento de sus homólogos que no se dedican a la IA. Una mayoría de todos los grupos está de acuerdo en que es crucial comenzar a regular la IA, en lugar de esperar, y el 70 por ciento de los profesionales no especializados en IA y el 62 por ciento de los trabajadores de IA apoyan una regulación inmediata. Una mayoría significativa de los encuestados reconoció los riesgos sociales y éticos de la IA. , enfatizando la necesidad de una innovación responsable. Más de la mitad de los profesionales de la IA se inclinan por herramientas regulatorias no vinculantes, como los estándares. Aproximadamente la mitad de los profesionales que no son de IA están a favor de reglas gubernamentales específicas. Un enfoque de gobernanza mixto La encuesta establece que la mayoría de los miembros del IEEE con sede en EE. UU. apoyan el desarrollo de la IA y abogan firmemente por su gestión cuidadosa. Los resultados guiarán al IEEE-USA en su trabajo con el Congreso y la Casa Blanca. Los encuestados reconocen los beneficios de la IA, pero expresaron preocupación por sus impactos sociales, como la desigualdad y la desinformación. La confianza en las entidades responsables de la creación y gestión de la IA varía mucho; Las instituciones académicas se consideran las entidades más confiables. Una minoría notable se opone a la participación del gobierno y prefiere pautas y estándares no regulatorios, pero las cifras no deben verse de forma aislada. Aunque conceptualmente existen actitudes mixtas hacia la regulación gubernamental, existe un consenso abrumador a favor de una regulación rápida en escenarios específicos como la privacidad de los datos, el uso de algoritmos en la toma de decisiones consecuentes, el reconocimiento facial y los sistemas de armas autónomos. para un enfoque de gobernanza mixto, utilizando leyes, regulaciones y estándares técnicos e industriales.
Source link