OpenAI refuerza la IA ante crisis de salud mental

OpenAI reconoce que ChatGPT ya se usa para hablar de decisiones personales, apoyo emocional y salud mental, y admite que sus protecciones todavía pueden fallar en conversaciones sensibles. La empresa anunció nuevas medidas para detectar mejor las crisis y conectar a las personas con ayuda real.

El anuncio llega después de varios casos de usuarios que utilizaron ChatGPT durante momentos de angustia extrema. OpenAI no detalla esos casos, pero afirma que quiere explicar con más claridad qué está diseñado para hacer el sistema, dónde se queda corto y qué cambios prepara.

Qué hace ChatGPT cuando detecta una crisis

Desde principios de 2023, los modelos de OpenAI están entrenados para no ofrecer instrucciones sobre autolesiones. Si alguien dice que quiere hacerse daño, ChatGPT debería reconocer la gravedad de lo que está ocurriendo, responder con un tono empático y orientar a la persona hacia ayuda profesional.

El sistema también utiliza clasificadores, herramientas que analizan el contenido para detectar posibles riesgos. Si identifican una respuesta que contradice las reglas de seguridad, esa respuesta puede bloquearse. Las protecciones son más estrictas para menores y para quienes usan ChatGPT sin iniciar sesión.

En Estados Unidos, el sistema dirige a las personas hacia el servicio 988. En Reino Unido, recomienda Samaritans. En otros países, remite a findahelpline.com, que reúne líneas de ayuda locales. Además, durante sesiones muy largas, ChatGPT puede sugerir que el usuario haga una pausa.

Cuando el riesgo detectado es que una persona planea hacer daño a otros, la conversación puede pasar a un equipo especializado para revisión humana. Ese equipo puede tomar medidas como suspender la cuenta y, si considera que existe una amenaza inminente de daño físico grave, avisar a las autoridades. OpenAI afirma que actualmente no deriva a la policía los casos de autolesión, para proteger la privacidad de esas interacciones.

La empresa asegura que trabaja con más de 90 médicos de más de 30 países, entre ellos psiquiatras, pediatras y médicos generales. También está formando un grupo asesor con expertos en salud mental, desarrollo juvenil y relación entre personas y tecnología.

GPT-5 mejora, pero no elimina el problema

OpenAI afirma que GPT-5, el modelo que pasó a ser el predeterminado de ChatGPT en agosto, redujo en más de un 25% frente a GPT-4o la frecuencia de respuestas consideradas inadecuadas en emergencias de salud mental. También habría mejorado al evitar la dependencia emocional excesiva y la tendencia a dar la razón al usuario aunque eso no sea conveniente.

El modelo utiliza un método de entrenamiento llamado safe completions. La idea es que pueda ayudar dentro de los límites de seguridad, ofreciendo una explicación general o parcial cuando dar instrucciones detalladas podría ser peligroso.

Pero las defensas no son igual de fiables en todas las situaciones. OpenAI reconoce que pueden degradarse durante conversaciones muy largas. Por ejemplo, ChatGPT podría recomendar una línea de crisis al principio y, después de muchos mensajes, responder de una forma que contradiga esa orientación.

La compañía también trabaja para que las protecciones funcionen entre conversaciones distintas. Así, si una persona expresa intención suicida en un chat y abre otro más tarde, el sistema podría mantener una respuesta adecuada al contexto de riesgo.

Qué cambios prepara OpenAI

OpenAI quiere ampliar la detección más allá de las autolesiones. Un caso que menciona es el de alguien que lleva dos noches sin dormir y asegura que puede conducir sin parar porque se siente invencible. El sistema debería identificar que la falta de sueño puede ser peligrosa, ayudar a recuperar una visión realista de la situación y recomendar descanso antes de actuar.

También prepara varias funciones, aunque la empresa las presenta como trabajos en desarrollo:

• Acceso más sencillo a servicios de emergencia, incluido un posible botón de un solo clic.
• Recursos de ayuda localizados para más países de Estados Unidos, Europa y otros mercados.
• Posibles conexiones con terapeutas certificados antes de que una crisis llegue a su punto más grave.
• Mensajes o llamadas con un contacto de confianza, un familiar o un amigo, con texto sugerido para facilitar el primer paso.
• Una opción para que ChatGPT avise a un contacto designado en casos graves, siempre que el usuario lo haya autorizado.
• Controles parentales y protecciones adicionales para adolescentes.

Para los menores, OpenAI también estudia permitir que designen, con supervisión parental, a un contacto de emergencia al que el sistema pueda ayudarles a llegar directamente.

Esto cambia la forma de entender ChatGPT: no es un terapeuta ni un servicio de emergencias, y sus respuestas no sustituyen la atención profesional. Si tú o alguien cercano está en peligro inmediato, lo adecuado es contactar con los servicios de emergencia de tu país o con una línea de crisis. El reto para OpenAI será demostrar que estas salvaguardas funcionan no solo en ejemplos breves, sino también en conversaciones largas, ambiguas y difíciles, justo cuando más importa que la IA no empeore la situación.