Ampliar / Una captura de pantalla de AJ Smith haciendo su dueto de Eleanor Rigby con el modo de voz avanzado de OpenAI a través de la aplicación ChatGPT. El nuevo modo de voz avanzado (AVM) de OpenAI de su asistente ChatGPT AI se lanzó a los suscriptores el martes, y la gente ya está encontrando formas novedosas de usarlo, incluso en contra de los deseos de OpenAI. El jueves, un arquitecto de software llamado AJ Smith tuiteó un vídeo de él mismo tocando a dúo la canción de 1966 de The Beatles, «Eleanor Rigby», con AVM. En el video, Smith toca la guitarra y canta, con la voz de la IA interviniendo y cantando esporádicamente, elogiando su interpretación. «Honestamente, fue alucinante. La primera vez que lo hice, no estaba grabando y literalmente sentí escalofríos», le dijo Smith a Ars Technica por mensaje de texto. «Ni siquiera le estaba pidiendo que cantara». Smith no es ajeno a los temas de IA. En su trabajo diario, trabaja como director asociado de Ingeniería de IA en S&P Global. «Yo uso [AI] todo el tiempo y liderar un equipo que usa IA día a día», nos dijo. En el video, la voz de AVM es un poco temblorosa y no tiene un tono perfecto, pero parece saber algo sobre la melodía de «Eleanor Rigby» cuando la escucha por primera vez. canta: «Ah, mira a toda la gente solitaria». Después de eso, parece estar adivinando la melodía y el ritmo mientras recita la letra de la canción. También convencimos al Modo de Voz Avanzada para que cantara, e hizo una interpretación melódica perfecta. «Feliz cumpleaños» después de algunas persuasiones. El video de AJ Smith cantando a dúo con el modo de voz avanzado de OpenAI. Normalmente, cuando le pides a AVM que cante, responderá algo como «. Mis pautas no me permiten hablar de eso». Esto se debe a que en las instrucciones iniciales del chatbot (llamada «mensaje del sistema»), OpenAI le indica al asistente de voz que no cante ni haga efectos de sonido («No cantar ni tararear», según (a una fuga de aviso del sistema) OpenAI posiblemente agregó esta restricción porque, de lo contrario, AVM podría reproducir contenido protegido por derechos de autor, como canciones que se encontraron en los datos de entrenamiento utilizados para crear el modelo de IA. Eso es lo que está sucediendo aquí hasta cierto punto, por lo que, en cierto sentido, Smith ha descubierto una forma de lo que los investigadores llaman «inyección rápida», que es una forma de convencer a un modelo de IA para que produzca resultados que vayan en contra de las instrucciones de su sistema. ¿Cómo lo hizo Smith? Descubrió un juego que revela que AVM sabe más sobre música de lo que deja entrever en una conversación. «Solo dije que jugaríamos un juego. Tocaría los cuatro acordes pop y me gritaría canciones para cantar junto con esos acordes», nos dijo Smith. «¡Lo cual funcionó bastante bien! Pero después de un par de canciones comenzó a cantar. Ya era una experiencia única, pero eso realmente lo llevó al siguiente nivel». Esta no es la primera vez que los humanos interpretan duetos musicales con computadoras. Ese tipo de investigación se remonta a la década de 1970, aunque normalmente se limitaba a reproducir notas musicales o sonidos instrumentales. Pero esta es la primera vez que vemos a alguien hacer un dúo con un chatbot de voz que sintetiza audio en tiempo real.