Inteligencia artificial y aprendizaje automático, legislación y litigios, tecnologías de próxima generación y desarrollo seguro IA, expertos en seguridad debaten quién define los riesgos y los esfuerzos de mitigación Rashmi Ramesh (rashmiramesh_) •11 de octubre de 2024 Imagen: Shutterstock Un intento de la Cámara de Representantes de California para controlar la El potencial de los riesgos catastróficos de la inteligencia artificial se topó con un obstáculo cuando el gobernador Gavin Newsom vetó la medida a fines del mes pasado. Vea también: Nuevo seminario web OnDemand | Superar los principales desafíos de cumplimiento de datos en una era de modernización digital Los partidarios dijeron que el proyecto de ley, SB 1047, habría requerido que los desarrolladores de sistemas de inteligencia artificial lo pensaran dos veces antes de desatar algoritmos desbocados capaces de causar daños a gran escala (ver: Gobernador de California Newsom veta acaloradamente debatido Proyecto de ley de seguridad de la IA). El veto del gobernador fue un «revés para todos los que creen en la supervisión de corporaciones masivas que están tomando decisiones críticas que afectan la seguridad y el bienestar del público y el futuro del planeta», dijo el autor del proyecto de ley, el senador Scott Wiener. Los críticos dijeron que el proyecto de ley era una medida demasiado contundente y habría obstaculizado la industria tecnológica de inteligencia artificial del estado. Si el veto deja el estado de la regulación de seguridad de la IA en el mismo lugar cuando los legisladores estatales se reunieron a principios de este año, tanto los defensores como los detractores se hacen la misma pregunta: ¿Qué sigue? Un obstáculo al que debe enfrentarse el equipo proregulador es la falta de una definición ampliamente aceptada de riesgos “catastróficos” de la IA. Existe poco consenso sobre cuán realista o inmediata es la amenaza: algunos expertos advierten que los sistemas de inteligencia artificial se están volviendo locos y otros descartan las preocupaciones como una hipérbole. Los riesgos catastróficos son aquellos que causan una falla del sistema, dijo Ram Bala, profesor asociado de análisis de negocios en la Escuela de Negocios Leavey de la Universidad de Santa Clara. Los riesgos podrían variar desde poner en peligro a toda la humanidad hasta un impacto más contenido, como interrupciones que afecten sólo a los clientes empresariales de productos de IA, dijo a Information Security Media Group. Deming Chen, profesor de ingeniería eléctrica e informática en la Universidad de Illinois, dijo que si la IA desarrollara una forma de interés propio o autoconciencia, las consecuencias podrían ser nefastas. “Si un sistema de IA comenzara a preguntar: ‘¿Qué gano yo con esto?’ cuando se les asignan tareas, los resultados pueden ser severos”, dijo. La autoconciencia descontrolada podría impulsar a los sistemas de inteligencia artificial a manipular sus capacidades, lo que provocaría desorden y resultados potencialmente catastróficos. Bala dijo que la mayoría de los expertos ven estos riesgos como “inverosímiles”, ya que los sistemas de IA actualmente carecen de sensibilidad o intención, y probablemente lo serán en el futuro previsible. Pero es posible que ya exista alguna forma de riesgo catastrófico. Eric Wengrowski, director ejecutivo de Steg.AI, dijo que el “daño social o económico generalizado” de la IA es evidente en las campañas de desinformación a través de deepfakes y manipulación de contenido digital. «El fraude y la desinformación no son nuevos, pero la IA está ampliando drásticamente el potencial de riesgo al disminuir el costo del ataque», afirmó Wengrowski. La SB 1047 tenía como objetivo prevenir fallas accidentales y el uso indebido malicioso de la IA. Una característica clave fue el requisito para que los desarrolladores implementaran protocolos de seguridad, incluidas medidas de ciberseguridad y un «interruptor de apagado», que permitiera el apagado de emergencia de los sistemas de inteligencia artificial no autorizados. El proyecto de ley también introdujo una responsabilidad estricta para los desarrolladores por cualquier daño causado, independientemente de si siguieron las regulaciones. El proyecto de ley calculó qué modelos estaban bajo su ámbito en función de cuánto dinero o energía se gastó en su entrenamiento. David Brauchler, director técnico de NCC Group, dijo que la potencia computacional, el tamaño del modelo o el costo de la capacitación son malos indicadores del riesgo. De hecho, los modelos más pequeños y especializados podrían ser más peligrosos que los modelos de lenguajes grandes. Brauchler también advirtió contra el alarmismo y dijo que los legisladores deberían centrarse en prevenir riesgos inmediatos, como decisiones incorrectas de la IA en infraestructuras críticas para la seguridad, en lugar de hipotéticas amenazas de superinteligencia. Aconsejó un enfoque proactivo para la regulación de la IA, centrándose en medidas de prevención de daños que aborden preocupaciones presentes y tangibles, en lugar de riesgos futuros especulativos. Si surgen nuevos peligros, los gobiernos pueden responder con legislación informada, en lugar de legislar preventivamente sin datos concretos, afirmó. URL de la publicación original: https://www.databreachtoday.com/regulating-ai-catastophic-risk-isnt-easy-a-26513