Uso de IA para encuestas políticas Las encuestas públicas son una función crítica de las campañas y movimientos políticos modernos, pero ya no son lo que eran antes. Los recientes ciclos electorales estadounidenses han producido abundantes autopsias que explican tanto los éxitos como los defectos de las encuestas públicas. Hay dos razones principales por las que las encuestas fracasan. En primer lugar, la falta de respuesta se ha disparado. Es radicalmente más difícil llegar a la gente que antes. Pocas personas ya completan encuestas que llegan por correo. Pocas personas contestan su teléfono cuando llama un extraño. Pew Research informó que el 36% de las personas a las que llamaron en 1997 hablarían con ellos, pero solo el 6% en 2018. Los encuestadores de todo el mundo se han enfrentado a desafíos similares. En segundo lugar, la gente no siempre les dice a los encuestadores lo que realmente piensan. Algunos ocultan sus verdaderos pensamientos porque les da vergüenza. Otros se comportan como partidistas y le dicen al encuestador lo que creen que su partido quiere que digan, o lo que saben que el otro partido no quiere escuchar. A pesar de estas debilidades, el interés obsesivo en las encuestas consume nuestra política. Es más probable que los titulares hablen de los últimos cambios en las cifras de las encuestas que de las cuestiones políticas en juego en la campaña. Esta es una tragedia para una democracia. Deberíamos tratar las elecciones como opciones que tienen consecuencias para nuestras vidas y nuestro bienestar, no como competencias para decidir quién obtiene qué trabajo cómodo. ¿Máquinas electorales? La IA podría cambiar las encuestas. La IA puede ofrecer la capacidad de encuestar y resumir instantáneamente las opiniones expresadas de individuos y grupos en la web, comprender las tendencias por demografía y ofrecer extrapolaciones a nuevas circunstancias y cuestiones políticas a la par de los expertos humanos. Los políticos del futuro (cercano) no molestarán ansiosamente a sus encuestadores para obtener información sobre los resultados de una encuesta realizada la semana pasada: simplemente preguntarán a un chatbot qué piensa la gente. Esto potenciará nuestro acceso a información granular en tiempo real sobre la opinión pública, pero al mismo tiempo también podría exacerbar las preocupaciones sobre la calidad de esta información. Sé que suena imposible, pero quédate con nosotros. Los grandes modelos de lenguaje, la base de la IA detrás de herramientas como ChatGPT, se construyen sobre enormes corpus de datos extraídos de Internet. Se trata de modelos entrenados para recapitular lo que millones de personas reales han escrito en respuesta a un sinfín de temas, contextos y escenarios. Durante una década o más, las campañas han rastreado las redes sociales en busca de pistas y destellos de cómo está reaccionando la gente ante las últimas noticias políticas. Esto hace que hacer preguntas a un chatbot de IA sea similar en espíritu a hacer análisis en las redes sociales, excepto que son generativas: puedes hacerles nuevas preguntas sobre las que nadie ha publicado antes, puedes generar más datos de poblaciones demasiado pequeñas para medirlas. de manera sólida y puede hacer inmediatamente preguntas aclaratorias a sus electores simulados para comprender mejor su razonamiento. Los investigadores y las empresas ya están utilizando LLM para simular los resultados de las encuestas. Las técnicas actuales se basan en las ideas de los agentes de IA. Un agente de IA es una instancia de un modelo de IA que ha sido condicionado para comportarse de cierta manera. Por ejemplo, puede estar preparado para responder como si fuera una persona con determinadas características demográficas y pudiera acceder a artículos de noticias de determinados medios. Los investigadores han creado poblaciones de miles de agentes de IA que responden como si fueran miembros individuales de una población de encuesta, como humanos en un panel al que se llama periódicamente para responder preguntas. La gran diferencia entre los humanos y los agentes de IA es que los agentes de IA siempre contestan el teléfono, por así decirlo, sin importar cuántas veces los contactes. Un candidato político o estratega puede preguntarle a un agente de IA si los votantes lo apoyarán si adoptan la posición A versus B, o ajustes en esas opciones, como la política A-1 versus A-2. Pueden hacer esa pregunta sobre los votantes masculinos versus las votantes femeninas. Pueden limitar aún más la consulta a votantes varones casados ​​en edad de jubilación en distritos rurales de Illinois sin títulos universitarios que perdieron su empleo durante la última recesión; la IA integrará todo el contexto que usted solicite. Lo que es tan poderoso de este sistema es que puede generalizarse a nuevos escenarios y temas de encuestas, y arrojar una respuesta plausible, incluso si su precisión no está garantizada. En muchos casos, anticipará esas respuestas al menos tan bien como un experto político humano. Y si los resultados no tienen sentido, el humano puede incitar inmediatamente a la IA con una docena de preguntas de seguimiento. Hacer que los agentes de IA sean mejores sujetos de encuestas Cuando realizamos nuestros propios experimentos en este tipo de caso de uso de IA con las primeras versiones del modelo detrás de ChatGPT (GPT-3.5), descubrimos que hizo un trabajo bastante bueno al replicar las respuestas de las encuestas humanas. Los agentes de ChatGPT tendieron a coincidir bastante bien con las respuestas de sus homólogos humanos en una variedad de preguntas de la encuesta, como el apoyo al aborto y la aprobación de la Corte Suprema de Estados Unidos. Los resultados de las encuestas de IA tuvieron respuestas promedio y distribuciones entre propiedades demográficas, como edad y género, similares a los paneles de encuestas humanos reales. Nuestro principal fracaso sistémico se produjo en torno a una cuestión sobre la intervención estadounidense en la guerra de Ucrania. En nuestros experimentos, los agentes de IA condicionados a ser liberales se oponían predominantemente a la intervención estadounidense en Ucrania y la comparaban con la guerra de Irak. Los agentes conservadores de AI dieron respuestas duras en apoyo de la intervención estadounidense. Esto es más o menos lo que la mayoría de los expertos políticos habrían esperado del equilibrio político de la política exterior estadounidense a principios de la década, pero fue exactamente incorrecto en la política actual. Este error tiene mucho que ver con el tiempo. A los humanos se les hizo la pregunta después de la invasión a gran escala de Rusia en 2022, mientras que el modelo de IA se entrenó utilizando datos que solo cubrían eventos hasta septiembre de 2021. La IA se equivocó porque no sabía cómo había cambiado la política. El modelo carecía de suficiente contexto sobre acontecimientos recientes de crucial relevancia. Creemos que los agentes de IA pueden superar estas deficiencias. Si bien los modelos de IA dependen de los datos con los que se entrenan y de todas las limitaciones inherentes a ellos, lo que hace que los agentes de IA sean especiales es que pueden obtener e incorporar automáticamente nuevos datos en el momento en que se les hace una pregunta. Los modelos de IA pueden actualizar el contexto en el que generan opiniones aprendiendo de las mismas fuentes que los humanos. Cada agente de IA en un panel simulado puede estar expuesto a las mismas fuentes de noticias sociales y de medios que los humanos de ese mismo grupo demográfico antes de responder a una pregunta de la encuesta. Esto funciona porque los agentes de IA pueden seguir procesos de varios pasos, como leer una pregunta, consultar una base de datos de información definida (como Google, New York Times, Fox News o Reddit) y luego responder una pregunta. De esta manera, las herramientas de encuestas de IA pueden simular la exposición de su panel de encuestas sintéticas a cualquier noticia que sea más relevante para un tema y que probablemente surja en la propia cámara de eco de cada agente de IA. Y pueden consultar otra información contextual relevante, como tendencias demográficas y datos históricos. Al igual que los encuestadores humanos, pueden intentar refinar sus expectativas en función de factores como qué tan caras son las viviendas en el vecindario de un encuestado o cuántas personas en ese distrito acudieron a votar en el último ciclo. Casos de uso probables para las encuestas con IA Las encuestas con IA serán irresistibles para las campañas y los medios de comunicación. Pero las investigaciones ya están revelando cuándo y dónde fallará esta herramienta. Si bien las encuestas de IA siempre tendrán limitaciones en cuanto a precisión, eso las hace similares, pero no diferentes, a las encuestas tradicionales. Los encuestadores de hoy tienen el desafío de alcanzar tamaños de muestra lo suficientemente grandes como para medir diferencias estadísticamente significativas entre poblaciones similares, y los problemas de falta de respuesta y respuesta no auténtica pueden hacer que se equivoquen sistemáticamente. Sin embargo, a pesar de todas esas deficiencias, tanto las encuestas tradicionales como las basadas en inteligencia artificial seguirán siendo útiles. A pesar de toda la preocupación y la consternación por la precisión de las encuestas políticas estadounidenses, las encuestas sobre cuestiones nacionales todavía tienden a tener una precisión de unos pocos puntos porcentuales. Si se está postulando para un escaño en el concejo municipal o en una elección nacional reñida, o simplemente está tratando de tomar la decisión política correcta dentro de un gobierno local, es posible que le importen mucho esas diferencias pequeñas y localizadas. Pero si lo que se busca es rastrear los cambios direccionales a lo largo del tiempo, o las diferencias entre grupos demográficos, o descubrir información sobre quién responde mejor a qué mensaje, entonces estas señales imperfectas son suficientes para ayudar a las campañas y a los formuladores de políticas. Donde la IA funcionará mejor es como complemento de las encuestas humanas más tradicionales. Con el tiempo, las herramientas de IA mejorarán a la hora de anticipar las respuestas humanas y también de saber cuándo serán más equivocadas o inciertas. Reconocerán qué problemas y comunidades humanas están en mayor cambio, dónde los datos de entrenamiento del modelo pueden llevarlo en la dirección equivocada. En esos casos, los modelos de IA pueden enviar una señal de alerta e indicar que necesitan involucrar a encuestados humanos para calibrarlos según las perspectivas de personas reales. Los agentes de IA incluso se pueden programar para automatizar esto. Pueden utilizar las herramientas de encuestas existentes, con todas sus limitaciones y latencia, para consultar respuestas humanas auténticas cuando las necesiten. Este tipo de quimera de encuesta entre humanos e IA nos lleva, curiosamente, no muy lejos de donde se encuentra hoy la investigación por encuestas. Décadas de investigación en ciencias sociales han dado lugar a innovaciones sustanciales en las metodologías estadísticas para analizar datos de encuestas. Los métodos de encuestas actuales ya realizan modelados y proyecciones sustanciales para modelar de manera predictiva las propiedades de una población general basándose en muestras de encuestas dispersas. Hoy en día, los humanos completan las encuestas y las computadoras llenan los vacíos. En el futuro, será todo lo contrario: la IA completará la encuesta y, cuando la IA no esté segura de qué casilla marcar, los humanos llenarán los vacíos. Así que si no te sientes cómodo con la idea de que los líderes políticos recurrirán a una máquina para obtener información sobre qué candidatos y políticas quieres, entonces deberías tener tantas dudas sobre el presente como sobre el futuro. Y aunque los resultados de la IA podrían mejorar rápidamente, probablemente no se considerarán creíbles durante algún tiempo. Preguntar directamente a las personas qué piensan parece más confiable que preguntarle a una computadora qué piensa la gente. Esperamos que estas encuestas asistidas por IA sean inicialmente utilizadas internamente por las campañas, y que las organizaciones de noticias dependan de técnicas más tradicionales. Se necesitarán elecciones importantes en las que la IA tenga razón y los humanos estén equivocados para cambiar eso. Este ensayo fue escrito con Aaron Berger, Eric Gong y Nathan Sanders, y apareció anteriormente en el sitio web del Centro Ash de la Escuela Kennedy de Harvard. Etiquetas: inteligencia artificial, chatbots, democracia, LLM Publicado el 12 de junio de 2024 a las 07:02 • 2 comentarios