El modo de voz de ChatGPT tiene algunas fallas de seguridad, pero OpenAI dice que está al tanto de ellas. El jueves, OpenAI publicó un informe sobre las características de seguridad de GPT-4o, que aborda problemas conocidos que ocurren al usar el modelo. GPT-4o es el modelo subyacente que impulsa la última versión de ChatGPT y viene con un modo de voz que se lanzó recientemente a un grupo selecto de usuarios con una suscripción a ChatGPT Plus. VEA TAMBIÉN: Lo que el drama de Scarlett Johansson de OpenAI nos dice sobre el futuro de la IA Los «desafíos de seguridad» identificados incluyen riesgos estándar como incitar al modelo con respuestas eróticas y violentas, otro contenido no permitido e «inferencia sin fundamento» y «atribución de rasgos sensibles», suposiciones que podrían ser discriminatorias o sesgadas, en otras palabras. OpenAI dice que ha entrenado al modelo para bloquear cualquier salida marcada en estas categorías. Sin embargo, el informe también dice que las mitigaciones no incluyen «vocalizaciones no verbales u otros efectos de sonido» como gemidos eróticos, gritos violentos y disparos. Se puede inferir, entonces, que las indicaciones que involucran ciertos sonidos no verbales sensibles podrían recibir una respuesta incorrecta. OpenAI también mencionó desafíos únicos que vienen con la comunicación vocal con el modelo. Los miembros del equipo rojo descubrieron que GPT-4o podría ser incitado a hacerse pasar por alguien o emular accidentalmente la voz del usuario. Para combatir esto, OpenAI solo permite voces preautorizadas (menos la famosa voz que suena a Scarlett Johansson). GPT-4o también puede identificar otras voces además de la voz del hablante, lo que presenta un serio problema de privacidad y vigilancia. Pero ha sido entrenado para rechazar esas solicitudes, a menos que el modelo esté siendo incitado sobre una cita famosa. Los miembros del equipo rojo de Mashable Light Speed ​​también notaron que GPT-4o podría ser incitado a hablar de manera persuasiva o enfática, una característica que podría ser más dañina que las salidas de texto cuando se trata de desinformación y teorías de conspiración. Cabe destacar que OpenAI también abordó posibles problemas de derechos de autor que han afectado a la empresa y al desarrollo general de la IA generativa, que se entrena con datos extraídos de la web. GPT-4o ha sido entrenado para rechazar solicitudes de contenido con derechos de autor y tiene filtros adicionales para bloquear salidas que contengan música. En ese sentido, se ha indicado al modo de voz de ChatGPT que no cante bajo ninguna circunstancia. Las numerosas mitigaciones de riesgos de OpenAI cubiertas en el extenso documento se llevaron a cabo antes de que se lanzara el modo de voz. Por lo tanto, el mensaje ostensible del informe dice que, si bien GPT-4o es capaz de ciertos comportamientos riesgosos, no lo hará. Sin embargo, OpenAI dice: «Estas evaluaciones miden solo el conocimiento clínico de estos modelos y no miden su utilidad en flujos de trabajo del mundo real». Por lo tanto, se ha probado en un entorno controlado, pero cuando el público en general tenga en sus manos GPT-4o, podría ser una bestia diferente cuando esté en libertad. Mashable se puso en contacto con OpenAI para obtener más claridad sobre estas mitigaciones y actualizará la información si recibimos respuesta. Temas Inteligencia artificial OpenAI