oxígeno/Getty Images Se ha descubierto que Whisper de OpenAI, una herramienta de transcripción y reconocimiento de voz con inteligencia artificial (IA) lanzada en 2022, alucina o inventa cosas, hasta tal punto que a los expertos les preocupa que pueda causar daños graves en el contexto equivocado. La semana pasada, la AP informó que un investigador de la Universidad de Michigan “encontró alucinaciones en ocho de cada 10 transcripciones de audio que inspeccionó” producidas por Whisper durante un estudio de reuniones públicas. Además: Cómo se compara la nueva herramienta de análisis de datos de IA de Claude con la versión de ChatGPT (pista: no es así) El dato es uno de muchos: por separado, un ingeniero que revisó 100 horas de transcripciones de Whisper le dijo a la AP que encontró alucinaciones en aproximadamente 50 % de ellos, mientras que otro desarrollador descubrió alucinaciones en casi todas las transcripciones que generó usando Whisper, lo que suma un total de 26.000. Si bien los usuarios siempre pueden esperar que los transcriptores de IA entiendan una palabra o escriban mal aquí y allá, los investigadores señalaron que “nunca habían visto otra herramienta de transcripción impulsada por IA que alucinara tanto como Whisper”. OpenAI dice que Whisper, una red neuronal de código abierto, “Se acerca al nivel humano de solidez y precisión en el reconocimiento de voz en inglés”. Está ampliamente integrado en varias industrias para tipos comunes de reconocimiento de voz, incluida la transcripción y traducción de entrevistas y la creación de subtítulos de videos. Además: la policía está utilizando IA para redactar informes sobre delitos. ¿Qué podría salir mal? Ese nivel de ubicuidad podría difundir rápidamente textos inventados, citas inventadas y mal atribuidas y otra información errónea a través de varios medios, cuyo significado puede variar según la naturaleza del material original. Según AP, Whisper está incorporado en algunas versiones de ChatGPT, integrado en centros de llamadas, asistentes de voz y plataformas en la nube de Oracle y Microsoft, y fue descargado más de 4,2 millones de veces el mes pasado desde HuggingFace. Lo que es aún más preocupante, dijeron los expertos a la AP, es que los profesionales médicos utilizan cada vez más “herramientas basadas en Whisper” para transcribir las consultas entre pacientes y médicos. La AP entrevistó a más de 12 ingenieros, investigadores y desarrolladores que confirmaron que Whisper fabricó frases y oraciones completas en el texto de transcripción, algunas de las cuales “pueden incluir comentarios raciales, retórica violenta e incluso tratamientos médicos imaginados”. Además: Cómo podrían ayudar las alucinaciones de IA crear antibióticos que salven vidas”Nadie quiere un diagnóstico erróneo”, afirmó Alondra Nelson, profesora del Instituto de Estudios Avanzados. Es posible que OpenAI no haya abogado por casos de uso médico (la compañía desaconseja su uso en dominios de alto riesgo, como contextos de toma de decisiones, donde las fallas en la precisión pueden conducir a fallas pronunciadas en los resultados), pero poner la herramienta en el mercado y promocionar su precisión significa que es probable que sea adoptado por varias industrias que intentan acelerar el trabajo y crear eficiencias siempre que sea posible, independientemente de los posibles riesgos. El problema tampoco parece depender de un audio más largo o mal grabado. Según AP, los científicos informáticos encontraron recientemente algunas alucinaciones en muestras de audio breves y claras. Los investigadores dijeron a la AP que la tendencia “conduciría a decenas de miles de transcripciones defectuosas en millones de grabaciones”. “Es difícil discernir el alcance total del problema, pero los investigadores e ingenieros dijeron que con frecuencia se han topado con las alucinaciones de Whisper en su trabajo. ” informa AP. Además, como señaló Christian Vogler, que dirige el Programa de Acceso a la Tecnología de la Universidad de Gallaudet y es sordo, aquellos que son sordos o tienen problemas de audición no pueden captar alucinaciones “escondidas entre todo este otro texto”. Los hallazgos de los investigadores indican un problema más amplio en la industria de la IA: las herramientas se lanzan al mercado demasiado rápido con el fin de obtener ganancias, especialmente cuando Estados Unidos todavía carece de regulaciones adecuadas sobre IA. Esto también es relevante considerando el actual debate de OpenAI entre organizaciones sin fines de lucro y las recientes predicciones de los líderes que no consideran los riesgos de la IA. Además: ¿Podría la IA hacer que la ciencia de datos quede obsoleta? “Un portavoz de OpenAI dijo que la compañía estudia continuamente cómo reducir las alucinaciones y apreció los hallazgos de los investigadores, y agregó que OpenAI incorpora retroalimentación en las actualizaciones de los modelos”, escribió AP. Mientras espera que OpenAI resuelva el problema, le recomendamos probar Otter.ai, una herramienta de transcripción de IA confiable para periodistas que acaba de agregar seis nuevos idiomas. El mes pasado, un usuario de Otter.ai desde hace mucho tiempo notó que una nueva función de resumen de IA en la plataforma alucinaba con una estadística, pero ese error no estaba en la transcripción en sí. Puede ser prudente no confiar en esa característica, especialmente porque los riesgos pueden aumentar cuando se le pide a la IA que resuma contextos más amplios. La propia guía de Otter.ai para la transcripción no menciona las alucinaciones, sólo que “la precisión puede variar según factores como el ruido de fondo, el acento del hablante y la complejidad de la conversación”, y aconseja a los usuarios “revisar y editar las transcripciones para garantizar precisión total, especialmente para tareas críticas o conversaciones importantes”. Además: iOS 18.1 con Apple Intelligence ya está aquí. Pruebe estas 5 funciones de IA primero. Si tiene un iPhone, el nuevo iOS 18.1 con Apple Intelligence ahora permite la grabación y transcripción de llamadas con IA, pero el editor en jefe de ZDNET, Jason Hiner, dice que “todavía es un trabajo en progreso”. Mientras tanto, OpenAI acaba de anunciar planes para brindar más herramientas a sus 250 millones de usuarios de ChatGPT Plus.