El mes pasado, informé sobre la creciente red de conexiones entre el movimiento de altruismo efectivo (EA) y los círculos de políticas de seguridad de IA, desde las principales empresas emergentes de IA como Anthropic hasta los think tanks de DC como RAND Corporation. Estos están vinculando a EA, con su enfoque láser en prevenir lo que sus seguidores dicen que son riesgos catastróficos para la humanidad provenientes del futuro AGI, con una amplia gama de think tanks, agencias gubernamentales y personal del Congreso de DC. Los críticos de la EA se centran en este riesgo existencial, o ‘riesgo x’, dicen que está sucediendo en detrimento de un enfoque necesario en los riesgos actuales y mensurables de la IA, incluidos el sesgo, la desinformación, las aplicaciones de alto riesgo y la ciberseguridad tradicional. Desde entonces, he sentido curiosidad por saber qué piensan realmente sobre esto otros líderes políticos y de IA fuera del movimiento altruista efectivo, pero que tampoco están alineados con el sistema de creencias polar opuesto, el aceleracionismo efectivo (e/acc). ¿Se sienten igualmente preocupadas otras empresas de LLM por el riesgo de que los pesos de los modelos de LLM caigan en manos equivocadas, por ejemplo? ¿Entienden plenamente los responsables políticos y los observadores de DC la influencia de EA en los esfuerzos de seguridad de la IA? En un momento en que Anthropic, bien conocido por su amplia gama de vínculos con EA, está publicando una nueva investigación sobre modelos de IA de “agentes durmientes” que engañan a los controles de seguridad destinados a detectar comportamientos dañinos, e incluso el Congreso ha expresado su preocupación sobre una posible asociación de investigación de IA entre el Instituto Nacional de Estándares y Seguridad (NIST) y RAND, esta me parece una pregunta importante. Además, EA apareció en los titulares de todo el mundo más recientemente en relación con el despido del director ejecutivo de OpenAI, Sam Altman, ya que todos los miembros de la junta directiva de organizaciones sin fines de lucro que no son empleados tenían conexiones con EA. Lo que descubrí en mis últimas entrevistas es una mezcla interesante de profunda preocupación por la inclinación ideológica de EA financiada por multimillonarios y su creciente alcance e influencia sobre el debate sobre la seguridad de la IA en Washington DC, así como el reconocimiento por parte de algunos de que los riesgos de la IA van más allá de la Las políticas de corto plazo son una parte importante del debate político de la CD. El movimiento EA, que comenzó como un esfuerzo por «hacer mejor el bien», ahora está fuertemente financiado por multimillonarios tecnológicos que consideran que prevenir una catástrofe relacionada con la IA es su prioridad número uno, en particular mediante la financiación de la seguridad de la IA (que también se describe como IA). seguridad»), especialmente en el ámbito de la bioseguridad. En mi artículo de diciembre, detallé las preocupaciones de Anthropic CISO Jason Clinton y dos investigadores de RAND Corporation sobre la seguridad de los pesos del modelo LLM frente a amenazas de criminales oportunistas, grupos terroristas u operaciones de estados-nación con altos recursos. Clinton me dijo que asegurar los pesos modelo para Claude, LLM de Anthropic, es su prioridad número uno. La amenaza de que delincuentes oportunistas, grupos terroristas u operaciones de estados-nación con muchos recursos accedan a los pesos de los LLM más sofisticados y poderosos es alarmante, explicó, porque “si un atacante obtuvo acceso al archivo completo, esa es toda la red neuronal. » El investigador de RAND, Sella Nevo, me dijo que dentro de dos años era plausible que los modelos de IA tuvieran una importancia significativa para la seguridad nacional, como la posibilidad de que actores malintencionados pudieran utilizarlos indebidamente para el desarrollo de armas biológicas. Descubrí que los tres tienen vínculos estrechos con la comunidad de EA y las dos compañías también están interconectadas gracias a EA; por ejemplo, Jason Matheny, director ejecutivo de RAND, también es miembro del Long-Term Benefit Trust de Anthropic y tiene vínculos desde hace mucho tiempo con la comunidad de EA. Movimiento EA. Mi cobertura fue motivada por los continuos informes de Politico de Brendan Bordelon sobre este tema, incluido un artículo reciente que citaba a un investigador anónimo de bioseguridad en Washington llamando a los financiadores vinculados a EA «una infiltración épica» en los círculos políticos. Mientras Washington lidia con el auge de la IA, escribió Bordelon, “un pequeño ejército de partidarios del ‘altruismo efectivo’ ha descendido sobre la capital de la nación y está dominando la forma en que la Casa Blanca, el Congreso y los grupos de expertos abordan la tecnología”. Cohere rechaza los temores de EA sobre los pesos de los modelos LLM. Primero, recurrí a Nick Frosst, cofundador de Cohere, un competidor de OpenAI y Anthropic que se enfoca en desarrollar LLM para la empresa, para conocer su opinión sobre estos temas. Me dijo en una entrevista reciente que no cree que los grandes modelos de lenguaje representen una amenaza existencial, y que si bien Cohere protege los pesos de sus modelos, la preocupación de la compañía es el riesgo comercial asociado con que otros obtengan acceso a los pesos, no uno existencial. «Quiero hacer la distinción… estoy hablando de grandes modelos de lenguaje», dijo. “Hay muchas cosas interesantes de las que se podría hablar que son filosóficas, como que creo que algún día podríamos tener una verdadera inteligencia artificial general. No creo que vaya a suceder pronto”. Cohere también ha criticado el eficaz movimiento altruista en el pasado. Por ejemplo, el director ejecutivo Aidan Gómez, según se informa, criticó la “moralidad propia” del movimiento altruista efectivo y a aquellos demasiado preocupados por la amenaza de un fin del mundo de la IA en una carta a su personal. Frosst dijo que EA “no parece existir mucho más allá de su enfoque en IA en estos días” y rechazó su sistema de creencias. «Si uno se encuentra en una visión filosófica del mundo que, en última instancia, proporciona justificación moral, de hecho, rectitud moral, para la acumulación masiva de riqueza personal, probablemente debería cuestionar esa visión del mundo», dijo. Un gran defecto del altruismo eficaz, continuó, es “suponer que puedes observar el bien que estás haciendo y asignarle un número y saber exactamente qué tan efectivo es. Termina en lugares extraños como, oye, deberíamos ganar la mayor cantidad de dinero posible. Y deberíamos ponerlo todo [towards combating] el riesgo existencial de la IA”. El cofundador de AI21 Labs dice que los pesos de los modelos no son un «facilitador clave» para los malos actores. Mientras tanto, Yoav Shoham, cofundador de otro competidor de Anthropic y OpenAI, los laboratorios AI21 con sede en Tel Aviv, también dijo que su compañía ha mantenido en secreto los pesos de sus modelos. por razones de secreto comercial. «Somos muy sensibles al posible abuso de la tecnología», dijo. «Dicho esto, tendemos a pensar que las ponderaciones de los modelos no son necesariamente el factor clave que facilita los malos actores». Señaló que en una era de carrera geopolítica de IA, “sólo ciertos aspectos pueden abordarse a través de políticas”. En lugar de ello, explicó, “estamos aportando nuestro granito de arena con condiciones de uso estrictas, centrándonos en modelos de tareas específicas que por su propia naturaleza son menos propensos a sufrir abusos y colaborando estrechamente con nuestros clientes empresariales, que comparten nuestro compromiso con los usos beneficiosos. de la IA”. Shoham enfatizó que él y AI21 no son miembros del movimiento EA. “Como personas externas, vemos que hay una combinación de atención cuidadosa al uso responsable de la IA, [along] con un alarmismo menos fundamentado”. Un investigador de RAND dice que las creencias de EA «no son particularmente útiles» Si bien RAND Corporation ha estado en el punto de mira de las críticas por sus conexiones con EA, también hay investigadores de RAND que se oponen. Marek Posard, investigador de RAND y sociólogo militar, habló el mes pasado en el blog de RAND sobre cómo los debates filosóficos sobre la IA, como el altruismo efectivo y el e/acc, son una «distracción» para la política de IA. «Esta es una tecnología nueva y, por lo tanto, hay muchas incógnitas», me dijo en una entrevista reciente. “Hay mucho revuelo. Hay muchas tonterías, yo diría que hay muchas preocupaciones reales, muy reales, en proceso de cambio. Están todas estas creencias e ideologías, filosofías y teorías que están flotando por ahí, creo, a las que esencialmente la gente se está aferrando”. Pero ni EA ni e/acc son «particularmente útiles», añadió. “También son suposiciones de lo que un pequeño grupo piensa que es el mundo. La realidad es que sabemos que hoy en día existen problemas muy reales”. Aún así, Posard no dijo que las voces de EA no fueran valoradas en RAND. De hecho, sostuvo que RAND promueve la diversidad de pensamiento, que según él es la “salsa secreta” del grupo de expertos en política global sin fines de lucro. «Se trata de diversidad de pensamiento, de orígenes, disciplinas y experiencias de las personas», dijo. «Invito a cualquiera a intentar impulsar una agenda ideológica, porque no está preparado para hacerlo». La ciberseguridad tradicional se centra en los riesgos actuales. Si bien muchos (incluyéndome a mí) pueden combinar la seguridad de la IA y la ciberseguridad tradicional (y sus técnicas se superponen, como deja claro el reciente informe de RAND sobre cómo asegurar las ponderaciones del modelo LLM), me pregunto si la comunidad de ciberseguridad tradicional está plenamente consciente del fenómeno EA y su impacto en la política de seguridad de la IA, especialmente porque la industria tiende a centrarse en los riesgos actuales en lugar de los existenciales. Por ejemplo, hablé con Dan deBeaubien, quien dirige la investigación de IA y preside los grupos de trabajo de productos y políticas de IA en el Instituto SANS, una empresa con sede en Rockville, MD, que se especializa en capacitación y certificación en ciberseguridad. Si bien conocía el movimiento EA y dijo que «definitivamente es una fuerza que existe», deBeaubien no parecía ser plenamente consciente del alcance del enfoque altruista efectivo en los riesgos existenciales catastróficos de la IA, y lo vio más como una organización ética de IA. «No tenemos muchas conversaciones efectivas sobre altruismo per se», dijo, señalando que estaba más preocupado por comprender los riesgos de seguridad actuales relacionados con el uso de chatbots LLM por parte de las personas dentro de las organizaciones. «¿Me quedo despierto preocupándome de que alguien tire de una palanca y la IA se haga cargo? Supongo que realmente no pienso mucho en eso». Algunos expertos parecen estar coexistiendo con las preocupaciones de EA. Sin embargo, otros expertos en políticas centrados en DC parecían muy conscientes de la influencia de EA en la seguridad de la IA, pero parecían centrados en coexistir con el movimiento en lugar de hablar con firmeza de manera oficial. Por ejemplo, hablé con Mark Beall, exjefe de políticas de IA en el Departamento de Defensa de EE. UU., quien ahora es cofundador y director ejecutivo de Gladstone AI, que ofrece educación en IA y soluciones de prueba y evaluación de IA para entidades gubernamentales e industriales. Destacó que Gladstone no ha aceptado ningún capital de riesgo ni financiación filantrópica. Beall dijo que los riesgos de la IA son claros, por lo que el enfoque tecnológico convencional de «moverse rápido y romper cosas» es imprudente. En cambio, DC requiere salvaguardias de sentido común, impulsadas por realidades técnicas, que superen la brecha entre política y tecnología, explicó. «Ayudé a establecer el Centro Conjunto de IA en el Pentágono, y el hecho es que muchos de los encargados de salvaguardar los intereses estadounidenses han estado trabajando en IA mucho antes de que los autoproclamados ‘altruistas eficaces’ tropezaran con los círculos políticos de Washington», dijo. “En el Departamento de Defensa, establecimos una política responsable de IA e invertimos mucho en la seguridad de la IA. Nuestra misión siempre ha sido acelerar de forma responsable. Y aquellos que están al margen y piensan que los funcionarios estadounidenses no han estado rastreando de forma independiente los riesgos de la IA, o que de alguna manera están siendo engañados, están equivocados”. También me comuniqué con Ian Bremmer, presidente y fundador de Eurasia Group, que la semana pasada publicó su lista de los principales riesgos geopolíticos de 2024, con la «IA no gobernada» en el cuarto lugar. Bremmer se centró directamente en los riesgos actuales, como la desinformación electoral: «GPT-5 saldrá antes de las elecciones estadounidenses y» será tan poderoso que, en comparación, hará que GPT-4 parezca un juguete «, predijo. «Ni siquiera sus creadores entienden realmente todo su potencial o capacidades». Dicho esto, sostuvo que existe un «debate legítimo» sobre el valor del código abierto frente al cerrado, y la importancia de asegurar los pesos de los modelos. «Creo que sería un error suponer, como muchos hacen, que el impulso para asegurar los pesos de los modelos está motivado puramente por cálculos cínicos de negocios», dijo. Sin embargo, si el enfoque del altruismo efectivo es realmente el altruismo, Bremmer agregó que “tenemos que asegurarnos de que la IA no se alinee con modelos de negocios que socavan a la sociedad civil; eso significa probar los modelos no sólo para detectar el uso indebido, sino también para ver cómo el uso normal esperado impacta”. comportamiento social (y el desarrollo de los niños, una preocupación particular)”. Bremmer añadió que «ha visto muy poco de eso en el movimiento de EA hasta la fecha». El problema con EA, concluyó, es que “cuando empiezas a hablar del fin del mundo como una posibilidad realista, lógicamente cualquier otro tipo de riesgo palidece hasta convertirse en insignificante”. La misión de VentureBeat es ser una plaza digital para que los tomadores de decisiones técnicas adquieran conocimientos sobre tecnología empresarial transformadora y realicen transacciones. Descubra nuestros Briefings.

Source link