Todo lo que necesitas saber sobre tecnología

Etiqueta: Regulación de la IA

‘Decepcionados pero no sorprendidos’: ex empleados hablan sobre la oposición de OpenAI a la SB 1047

‘Decepcionados pero no sorprendidos’: ex empleados hablan sobre la oposición de OpenAI a la SB 1047

Dos ex investigadores de OpenAI que renunciaron este año por preocupaciones de seguridad dicen que están decepcionados, pero no sorprendidos, por la decisión de OpenAI de oponerse al proyecto de ley de California para prevenir desastres de IA, SB 1047. Daniel Kokotajlo y William Saunders advirtieron previamente que OpenAI está en una carrera «imprudente» por el dominio. «Sam Altman, nuestro ex jefe, ha pedido repetidamente la regulación de la IA», escriben en una carta que fue compartida con Politico y que insta al gobernador de California, Gavin Newsom, a firmar el proyecto de ley. «Ahora, cuando la regulación real está sobre la mesa, se opone». Los dos agregan que, «Con la regulación adecuada, esperamos que OpenAI pueda estar a la altura de su declaración de misión de construir IAG de manera segura». El rival de OpenAI, Anthropic, ha expresado su apoyo al proyecto de ley al tiempo que presenta preocupaciones específicas y solicita enmiendas. Desde entonces, se han incorporado varias, y el jueves, el director ejecutivo Dario Amodei escribió a Newsom, diciendo que los «beneficios del proyecto de ley actual probablemente superen sus costos», aunque no lo respaldó por completo.

La IA de código abierto es excepcionalmente peligrosa


Esta es una publicación invitada. Las opiniones expresadas aquí son únicamente las del autor y no representan posiciones de IEEE Spectrum o IEEE. Cuando la gente piensa en aplicaciones de IA en estos días, probablemente piense en aplicaciones de IA de “código cerrado” como ChatGPT de OpenAI, donde el software del sistema está en manos seguras de su creador y de un conjunto limitado de socios examinados. Los usuarios cotidianos interactúan con estos sistemas a través de una interfaz web como un chatbot, y los usuarios empresariales pueden acceder a una interfaz de programación de aplicaciones (API) que les permite integrar el sistema de IA en sus propias aplicaciones o flujos de trabajo. Fundamentalmente, estos usos permiten a la empresa propietaria del modelo proporcionar acceso a él como un servicio, manteniendo al mismo tiempo seguro el software subyacente. El público no comprende tan bien la liberación rápida e incontrolada de potentes sistemas de IA no seguros (a veces llamados de código abierto). Un buen primer paso para comprender las amenazas que plantea la IA no segura es preguntar a los sistemas de IA seguros como ChatGPT, Bard o Claude. comportarse mal. La marca OpenAI aumenta la confusión. Si bien la compañía se fundó originalmente para producir sistemas de inteligencia artificial de código abierto, sus líderes determinaron en 2019 que era demasiado peligroso continuar publicando el código fuente y los pesos de los modelos de sus sistemas GPT (las representaciones numéricas de las relaciones entre los nodos en su red neuronal artificial). ) para el publico. OpenAI está preocupado porque estos sistemas de IA que generan texto pueden usarse para generar cantidades masivas de contenido bien escrito pero engañoso o tóxico. Empresas como Meta (mi antiguo empleador) han actuado en la dirección opuesta y han optado por lanzar potentes sistemas de IA no seguros en el mercado. nombre de democratizar el acceso a la IA. Otros ejemplos de empresas que lanzan sistemas de inteligencia artificial no seguros incluyen Stability AI, Hugging Face, Mistral, EleutherAI y el Technology Innovation Institute. Estas empresas y grupos de defensa de ideas afines han logrado avances limitados en la obtención de exenciones para algunos modelos no seguros en la Ley de IA de la Unión Europea, que está diseñada para reducir los riesgos de los potentes sistemas de IA. Es posible que presionen para obtener exenciones similares en Estados Unidos a través del período de comentarios públicos establecido recientemente en la Orden Ejecutiva sobre IA de la Casa Blanca. Creo que el movimiento de código abierto tiene un papel importante en la IA. Con una tecnología que aporta tantas capacidades nuevas, es importante que ninguna entidad actúe como guardián del uso de la tecnología. Sin embargo, tal como están las cosas hoy, la IA no segura representa un riesgo enorme que aún no podemos contener. Comprender la amenaza de la AIA no segura Un buen primer paso para comprender las amenazas que plantea la IA no segura es preguntar a los sistemas de IA seguros como ChatGPT, Bard, o Claude por portarse mal. Podrías pedirles que diseñen un coronavirus más mortal, que den instrucciones para fabricar una bomba, que hagan fotografías desnuda de tu actor favorito o que escriban una serie de mensajes de texto incendiarios diseñados para enojar más a los votantes de los estados indecisos por la inmigración. Es probable que reciba rechazos corteses a todas estas solicitudes porque violan las políticas de uso de estos sistemas de inteligencia artificial. Sí, es posible hacer jailbreak a estos sistemas de inteligencia artificial y hacer que se comporten mal, pero a medida que se descubren estas vulnerabilidades, se pueden solucionar. Ingrese a los modelos no seguros. El más famoso es Meta’s Llama 2. Fue lanzado por Meta con una “Guía de uso responsable” de 27 páginas, que fue rápidamente ignorada por los creadores de “Llama 2 Uncensored”, un modelo derivado sin características de seguridad y alojado de forma gratuita. descárguelo en el repositorio de Hugging Face AI. Una vez que alguien lanza una versión “sin censura” de un sistema de IA no seguro, el creador original del sistema se ve en gran medida impotente para hacer algo al respecto. Tal como están las cosas hoy, la IA no segura plantea un riesgo enorme que aún no podemos contener. La amenaza que plantean los sistemas de IA no seguros radica en la facilidad de uso indebido. Son particularmente peligrosos en manos de actores de amenazas sofisticados, que podrían descargar fácilmente las versiones originales de estos sistemas de IA y desactivar sus funciones de seguridad, luego crear sus propias versiones personalizadas y abusar de ellas para una amplia variedad de tareas. Algunos de los abusos de los sistemas de IA no seguros también implican el aprovechamiento de canales de distribución vulnerables, como las redes sociales y las plataformas de mensajería. Estas plataformas aún no pueden detectar con precisión el contenido generado por IA a escala y pueden usarse para distribuir cantidades masivas de información errónea personalizada y, por supuesto, estafas. Esto podría tener efectos catastróficos en el ecosistema de la información y, en particular, en las elecciones. La pornografía deepfake no consensuada y altamente dañina es otro ámbito en el que la IA no protegida puede tener profundas consecuencias negativas. La IA no protegida también tiene el potencial de facilitar la producción de materiales peligrosos, como armas biológicas y químicas. La Orden Ejecutiva de la Casa Blanca hace referencia a los riesgos químicos, biológicos, radiológicos y nucleares (QBRN), y el Congreso de los EE. UU. está considerando varios proyectos de ley para abordar estas amenazas. Recomendaciones para las regulaciones de IA No necesitamos regular específicamente la IA no segura, casi Todas las regulaciones que se han discutido públicamente también se aplican a los sistemas de IA seguros. La única diferencia es que es mucho más fácil para los desarrolladores de sistemas de IA seguros cumplir con estas regulaciones debido a las propiedades inherentes de la IA segura y no segura. Las entidades que operan sistemas de IA seguros pueden monitorear activamente los abusos o fallas de sus sistemas (incluidos los prejuicios y la producción de contenido peligroso u ofensivo) y publicar actualizaciones periódicas que hagan que sus sistemas sean más justos y seguros. fuente La IA es EL problema sin resolver más importante en el plazo inmediato”.—Gary Marcus, Universidad de Nueva York Como tal, casi todas las regulaciones recomendadas a continuación se generalizan a todos los sistemas de IA. La implementación de estas regulaciones haría que las empresas se lo pensaran dos veces antes de lanzar sistemas de IA no seguros que estén listos para ser objeto de abuso. Acción regulatoria para los sistemas de IA Pausar todos los nuevos lanzamientos de sistemas de IA no seguros hasta que los desarrolladores hayan cumplido con los requisitos a continuación, y de manera que garanticen que las características de seguridad no puedan ser fácilmente eliminadas. eliminado por malos actores. Establecer el registro y la concesión de licencias (tanto retroactivas como continuas) de todos los sistemas de IA por encima de un cierto umbral de capacidad. Crear responsabilidad por “uso indebido razonablemente previsible” y negligencia: los desarrolladores de sistemas de IA deben ser legalmente responsables de los daños causados ​​a ambas personas. y para la sociedad. Establecer procedimientos de evaluación, mitigación y auditoría independiente de riesgos para los sistemas de IA que crucen el umbral mencionado anteriormente. Exigir mejores prácticas de marcas de agua y procedencia para que el contenido generado por IA esté claramente etiquetado y el contenido auténtico tenga metadatos que permitan a los usuarios comprender su procedencia. Exigir transparencia de los datos de capacitación y prohibir los sistemas de capacitación sobre información de identificación personal, contenido diseñado para generar contenido que incite al odio y contenido relacionado con armas biológicas y químicas. Exigir y financiar el acceso de investigadores independientes, brindando a los investigadores examinados y a las organizaciones de la sociedad civil acceso previo al despliegue a sistemas generativos de IA. para investigación y pruebas. Exigir procedimientos de “conozca a su cliente”, similares a los utilizados por las instituciones financieras, para las ventas de hardware potente y servicios en la nube diseñados para el uso de IA; restringir las ventas de la misma manera que se restringirían las ventas de armas. Divulgación obligatoria de incidentes: cuando los desarrolladores se enteran de vulnerabilidades o fallas en sus sistemas de inteligencia artificial, deben estar legalmente obligados a informar esto a una autoridad gubernamental designada. Acción regulatoria para canales de distribución y ataques SurfacesRequiere la implementación de credenciales de contenido para las redes sociales, lo que otorga a las empresas una fecha límite para implementar el estándar de etiquetado de credenciales de contenido de C2PA.Automatiza las firmas digitales para que las personas puedan verificar rápidamente su contenido generado por humanos.Limita el alcance del contenido generado por IA: cuentas que no Se ha verificado que los distribuidores de contenido generado por humanos podrían tener ciertas características desactivadas, incluida la distribución viral de su contenido. Reducir los riesgos químicos, biológicos, radiológicos y nucleares educando a todos los proveedores de ácidos nucleicos personalizados u otras sustancias potencialmente peligrosas sobre las mejores prácticas. Gobierno AcciónEstablecer un organismo regulador ágil que pueda actuar y hacer cumplir rápidamente y actualizar ciertos criterios de cumplimiento. Esta entidad tendría el poder de aprobar o rechazar evaluaciones de riesgos, mitigaciones y resultados de auditorías y tendría la autoridad para bloquear el despliegue del modelo. Apoyar a las organizaciones de verificación de datos y a los grupos de la sociedad civil (incluidos los “indicadores confiables” definidos por los Servicios Digitales de la UE). Act) y exigir que las empresas de IA generativa trabajen directamente con estos grupos. Cooperar internacionalmente con el objetivo de crear eventualmente un tratado internacional o una nueva agencia internacional para evitar que las empresas eludan estas regulaciones. La reciente Declaración de Bletchley fue firmada por 28 países, incluidos los países de origen de todas las principales empresas de IA del mundo (Estados Unidos, China, Reino Unido, Emiratos Árabes Unidos, Francia y Alemania); esta declaración estableció valores compartidos y abrió un camino para reuniones adicionales. democratizar el acceso a la IA con infraestructura pública: una preocupación común sobre la regulación de la IA es que limitará el número de empresas que pueden producir sistemas de IA complicados a un pequeño puñado y tenderá hacia el monopolio. prácticas de negocios. Sin embargo, existen muchas oportunidades para democratizar el acceso a la IA sin depender de sistemas de IA no seguros. Una es mediante la creación de una infraestructura pública de IA con potentes modelos de IA seguros. “Creo que cómo regulamos la IA de código abierto es EL problema sin resolver más importante en el plazo inmediato”, dijo Gary Marcus, científico cognitivo, empresario y profesor emérito de Me lo dijo la Universidad de Nueva York en un reciente intercambio de correos electrónicos. Estoy de acuerdo y estas recomendaciones son sólo un comienzo. Inicialmente serían costosas de implementar y requerirían que los reguladores hicieran descontentos a ciertos lobistas y desarrolladores poderosos. Desafortunadamente, dados los incentivos desalineados en los actuales ecosistemas de inteligencia artificial y de información, es poco probable que la industria tome estas acciones a menos que se vea obligada a hacerlo. Si no se toman medidas como estas, las empresas que producen IA no segura pueden generar miles de millones de dólares en ganancias y, al mismo tiempo, trasladar los riesgos que plantean sus productos a todos nosotros.De los artículos de su sitioArtículos relacionados en la Web

Source link

Funciona con WordPress & Tema de Anders Norén