Más de un millón de personas cada semana muestran intenciones suicidas al chatear con ChatGPT

Más de un millón de usuarios de ChatGPT envían mensajes cada semana que incluyen "indicadores explícitos de posibles planes o intenciones suicidas", según una entrada de blog publicada por OpenAI el lunes.

Este hallazgo, que forma parte de una actualización sobre cómo el chatbot gestiona conversaciones sensibles, es una de las declaraciones más directas del gigante de la inteligencia artificial sobre la magnitud de cómo la IA puede influir en problemas de salud mental.

Además de sus estimaciones sobre ideas suicidas e interacciones relacionadas, OpenAI también indicó que aproximadamente el 0,07 % de los usuarios activos en una semana determinada,unos 560 000 de 800 millones de usuarios semanales,  muestran posibles signos de emergencias de salud mental relacionadas con psicosis o manía. La publicación advirtió que estas conversaciones eran difíciles de detectar o medir, y que se trata de un análisis inicial.

El mes pasado, la Comisión Federal de Comercio (FTC) inició una investigación sobre las empresas que crean chatbots de IA para determinar cómo miden los impactos negativos en niños y adolescentes.

OpenAI afirmó en su publicación que su reciente actualización de GPT-5 redujo la cantidad de comportamientos indeseables de su producto y mejoró la seguridad del usuario en una evaluación de modelos que incluyó más de 1000 conversaciones sobre autolesiones y suicidios.

“Nuestras nuevas evaluaciones automatizadas otorgan al nuevo modelo GPT-5 un puntaje de cumplimiento del 91 % con nuestros comportamientos deseados, en comparación con el 77 % del modelo GPT-5 anterior”, se lee en la publicación de la empresa.

OpenAI afirmó que GPT-5 amplió el acceso a las líneas directas de crisis y añadió recordatorios para que los usuarios tomaran descansos durante sesiones largas. Para mejorar el modelo, la compañía afirmó haber reclutado a 170 profesionales clínicos de su Red Global de Médicos expertos en salud para que colaboraran en su investigación durante los últimos meses, lo que incluyó evaluar la seguridad de las respuestas de su modelo y ayudar a redactar las respuestas del chatbot a preguntas relacionadas con la salud mental.

Como parte de este trabajo, psiquiatras y psicólogos revisaron más de 1800 respuestas modelo relacionadas con situaciones graves de salud mental y compararon las respuestas del nuevo modelo de chat GPT-5 con las de modelos anteriores, afirmó OpenAI. La definición de "deseable" de la empresa implicaba determinar si un grupo de expertos llegaba a la misma conclusión sobre cuál sería una respuesta adecuada en determinadas situaciones.

Los investigadores de IA y los defensores de la salud pública han sido cautelosos ante la propensión de los chatbots a confirmar las decisiones o delirios de los usuarios, independientemente de si pueden ser perjudiciales, un problema conocido como adulación. Los expertos en salud mental también han mostrado su preocupación por el uso de chatbots de IA para apoyo psicológico y han advertido sobre su posible perjuicio para los usuarios vulnerables.

El lenguaje utilizado en la publicación de OpenAI distancia a la empresa de cualquier posible vínculo causal entre su producto y las crisis de salud mental que están experimentando sus usuarios.

“Hicimos que ChatGPT fuera bastante restrictivo para asegurarnos de tener cuidado con los problemas de salud mental. Sabemos que esto lo hacía menos útil y agradable para muchos usuarios sin problemas de salud mental, pero dada la gravedad del problema, queríamos corregirlo”, publicó Altman. “Ahora que hemos podido mitigar los graves problemas de salud mental y contamos con nuevas herramientas, podremos relajar las restricciones de forma segura en la mayoría de los casos”.