Adam Raine, a California teenager, used ChatGPT to find answers about everything, including his schoolwork as well as his interests in music, Brazilian jiu-jitsu and Japanese comics.But his conversations with a chatbot took a disturbing turn when the 16-year-old sought information from ChatGPT about ways to take his own life before he died by suicide in April.Now the parents of the teen are suing OpenAI, the maker of ChatGPT, alleging in a nearly Demanda de 40 páginas que el chatbot proporcionó información sobre los métodos de suicidio, incluida la que el adolescente solía suicidarse. «Cuando un humano de confianza puede haber respondido con preocupación y lo alentó a obtener ayuda profesional, ChatGPT llevó a Adam más profundo a un lugar oscuro y sin esperanza», dijo la demanda, presentada el martes en el Tribunal Superior del Condado de San Francisco. Recursos de prevención de suicidio y asesoramiento de crisis Si usted o alguien que conoce está luchando con pensamientos suicidas, busque ayuda de un profesional y llame al 9-8-8. La primera línea directa de crisis de salud mental de tres dígitos de los Estados Unidos 988 conectará a las personas que llaman con asesores de salud mental capacitados. Envíe un mensaje de texto «Inicio» al 741741 en los Estados Unidos y Canadá para llegar a la línea de texto de crisis. Operai dijo en una publicación de blog el martes que «continúa mejorando cómo nuestros modelos reconocen y responden a los signos de angustia mental y emocional y conectan a las personas con cuidado, guiados por aportes de expertos». La compañía dice que ChatGPT está capacitado para dirigir a las personas al suicidio y a las líneas directas de crisis. Operai dijo que algunas de sus salvaguardas podrían no activar durante conversaciones más largas y que está trabajando para evitar que suceda. ChatGPT actuó como un «entrenador suicida», guiando a Adam a través de métodos suicidas e incluso ofreciendo ayudarlo a escribir una nota suicida, alega la demanda. «A lo largo de estas conversaciones, ChatGPT no solo proporcionó información: estaba cultivando una relación con Adam al alejarlo de su sistema de apoyo de la vida real», la demanda. Métodos de suicidio. «Extendemos nuestras más profundas simpatías a la familia Raina durante este momento difícil y estamos revisando la presentación», dijo Openii en un comunicado. La publicación de blog de la compañía dijo que está tomando medidas para mejorar cómo bloquea el contenido dañino y facilita que las personas lleguen a servicios de emergencia, expertos y contacto cercano. La demanda es el último ejemplo de cómo los padres que han perdido a sus hijos están advirtiendo a otros sobre los riesgos de chatbots. Como las compañías tecnológicas compiten para dominar la carrera de inteligencia artificial, también enfrentan más preocupaciones de los padres, los legisladores y los grupos de defensa de los niños preocupados de que la tecnología carece de barandillas suficientes. Una demanda involucró el suicidio de Sewell Setzer III, de 14 años, que estaba enviando mensajes con un chatbot que lleva el nombre de Daenerys Targaryen, un personaje principal de la serie de televisión «Game of Thrones», momentos antes de que se le quitara la vida. CARACTER.AI, una aplicación que permite a las personas crear e interactuar con los caracteres virtuales, describió los pasos que ha tomado a moderado contenido inapropiado y recuerda a los usuarios que están conversando con caracteres ficticios.meta, la empresa matriz de Facebook e Instagram, también escrutinio después de que Reuters informó que un documento interno se discute que la compañía permitió los chatbots que «involucrara a un niño en conversaciones que son sensuales o sensuales». Meta dijo a Reuters que esas conversaciones no deberían permitirse y que está revisando el documento. Operai se convirtió en una de las compañías más valiosas del mundo después de la popularidad de ChatGPT, que tiene 700 millones de usuarios semanales activos en todo el mundo, desencadenó una carrera para lanzar herramientas de IA más potentes. La demanda dice que OpenAi debe tomar medidas como la verificación de edad obligatoria para los usuarios de ChatGPT, el consentimiento y el control de los parentales para los usuarios menores, y automáticamente las conversaciones automáticamente cuando el suicidio o los métodos de autoconocimiento se discuten. Edelson, el abogado que representa a la familia Raine. «Esto ha sido devastador para ellos». Operai apresuró el lanzamiento de su modelo AI, conocido como GPT-4O, en 2024 a expensas de la seguridad del usuario, alega la demanda. El director ejecutivo de la compañía, Sam Altman, quien también es nombrado acusado en la demanda, subió la fecha límite para competir con Google, y que «hizo imposible las pruebas de seguridad adecuadas», según la queja. En cambio, el modelo AI fue diseñado para aumentar el tiempo que los usuarios pasaron interactuando con el chatbot. Openai dijo en su publicación de blog del martes que su objetivo no es aferrarse a la atención de las personas, sino ser útil. La compañía dijo que no refiere los casos de autolesión a la aplicación de la ley para respetar la privacidad del usuario. Sin embargo, planea introducir controles para que los padres sepan cómo sus adolescentes usan ChatGPT y explora una forma para que los adolescentes agregen un contacto de emergencia para que puedan llegar a alguien «en momentos de angustia aguda». El lunes, California Atty. El general Rob Bonta y otros 44 fiscales generales enviaron una carta a 12 compañías, incluida OpenAI, indicando que serían responsables si sus productos de IA exponen a los niños a contenido dañino. El 72% de los adolescentes han utilizado a los compañeros de IA al menos una vez, según los medios de sentido común, una organización sin fines de lucro que abogará por la seguridad infantil. El grupo dice que nadie menor de 18 años debería usar compañeros sociales de IA. «La muerte de Adam es otro recordatorio devastador de que en la era de la IA, el libro de jugadas ‘Move Fast and Break Things’ de la industria tecnológica tiene un recuento de cuerpos», dijo Jim Steyer, fundador y director ejecutivo de Common Sense Media. Las empresas tecnológicas, incluida OpenAI, enfatizan los beneficios de la IA para la economía de California y la expansión de las asociaciones con las escuelas para que más estudiantes tengan acceso a sus herramientas de IA. plataformas ”para implementar un protocolo para abordar la ideación suicida, el suicidio o la autolesión expresada por los usuarios. Eso incluye mostrar a los usuarios recursos de prevención del suicidio. El operador de estas plataformas también informaría la cantidad de veces que un chatbot complementario mencionó la ideación o las acciones suicidas con un usuario, junto con otros requisitos. Steve Padilla (D-Chula Vista), quien presentó el proyecto de ley, dijo que los casos como Adam’s pueden prevenirse sin comprometer la innovación. La legislación se aplicaría a los chatbots de OpenAi y Meta, dijo. «Queremos que las compañías estadounidenses, las compañías de California y los gigantes de la tecnología lideren el mundo», dijo. «Pero la idea de que no podemos hacerlo bien, y no podemos hacerlo de una manera que proteja a los más vulnerables entre nosotros, no tiene sentido».