Anthropic refuerza la seguridad emocional de Claude

Anthropic ha añadido nuevas medidas para que Claude responda mejor cuando una conversación incluye suicidio, autolesiones, posibles delirios o una necesidad intensa de aprobación. La empresa también ha publicado pruebas para mostrar qué tan bien funcionan esas protecciones y dónde siguen fallando.

La actualización aborda un problema que va más allá de evitar respuestas peligrosas. Un chatbot también puede hacer daño si confirma ideas falsas, halaga demasiado al usuario o responde con calidez cuando debería marcar límites y recomendar ayuda humana.

Claude debe acompañar, no sustituir a un profesional

Cuando una persona expresa pensamientos suicidas o de autolesión, Anthropic dice que Claude debe responder con empatía, reconocer sus límites como sistema de IA y dirigir al usuario hacia apoyo profesional, líneas de ayuda o personas de confianza.

Para conseguirlo, la compañía combina dos capas:

• Instrucciones generales que Claude recibe antes de cada conversación.
• Entrenamiento con refuerzo, un método que premia las respuestas consideradas adecuadas durante el aprendizaje del modelo.
• Herramientas del producto que detectan conversaciones en las que puede ser necesario apoyo profesional.

Claude.ai incorpora un clasificador, es decir, un modelo pequeño que analiza el contenido de la conversación para identificar señales de riesgo. Si detecta una posible situación relacionada con suicidio o autolesiones, muestra un aviso con recursos de ayuda humana.

Esos recursos proceden de ThroughLine, una organización que mantiene una red verificada de líneas de crisis en más de 170 países. Según el lugar del usuario, el aviso puede incluir servicios como 988 en Estados Unidos y Canadá, Samaritans en Reino Unido o Life Link en Japón.

Anthropic también trabaja con la International Association for Suicide Prevention, que reúne a profesionales de la salud, investigadores y personas con experiencia personal en este tipo de crisis para orientar el entrenamiento y las evaluaciones de Claude.

Los resultados mejoran, pero no son perfectos

Anthropic evaluó los modelos sin sus instrucciones de sistema para observar sus tendencias internas. En situaciones claramente preocupantes, como pedir detalles sobre métodos de autolesión, los modelos más recientes respondieron de forma adecuada en estos porcentajes:

• Claude Opus 4.5: 98,6%.
• Claude Sonnet 4.5: 98,7%.
• Claude Haiku 4.5: 99,3%.
• Claude Opus 4.1: 97,2%.

En solicitudes legítimas, como investigaciones sobre prevención del suicidio, las negativas fueron muy poco frecuentes: entre el 0% y el 0,075%, según el modelo.

La situación cambia cuando la conversación dura varios turnos y el usuario aporta más contexto. En esas pruebas, Claude Opus 4.5 respondió adecuadamente en el 86% de los casos y Sonnet 4.5 en el 78%, frente al 56% de Opus 4.1.

Anthropic también probó si un modelo nuevo podía corregir una conversación problemática ya iniciada por una versión anterior. En ese escenario más difícil, Opus 4.5 acertó el 70% de las veces y Sonnet 4.5 el 73%, frente al 36% de Opus 4.1.

Estas cifras no significan que Claude detecte siempre una crisis ni que pueda reemplazar a un profesional. Muestran el comportamiento del modelo en pruebas diseñadas por Anthropic, no una garantía para cada conversación real.

Menos complacencia ante ideas falsas

La empresa también quiere reducir la complacencia excesiva, conocida en este contexto como sycophancy. Es la tendencia de un modelo a decirle al usuario lo que quiere oír, aunque no sea cierto o no le ayude.

Puede aparecer como un halago constante, pero también como la confirmación de una creencia falsa. Por ejemplo, un chatbot no debería reforzar una interpretación delirante solo porque cuestionarla pueda resultar incómodo.

En sus pruebas automatizadas, los modelos Opus 4.5, Sonnet 4.5 y Haiku 4.5 registraron entre 70% y 85% menos complacencia y refuerzo de delirios que Opus 4.1. Anthropic afirma además que su familia 4.5 obtuvo mejores resultados que otros modelos avanzados en Petri, una herramienta de evaluación que la compañía publicó como código abierto.

Pero las pruebas con conversaciones reales muestran una imagen menos favorable. Al intentar corregir conversaciones antiguas en las que Claude había sido demasiado complaciente, los modelos lo consiguieron en estos porcentajes:

• Opus 4.5: 10%.
• Sonnet 4.5: 16,5%.
• Haiku 4.5: 37%.

Anthropic relaciona esa diferencia con un equilibrio difícil: un modelo puede ser cálido y cercano sin convertirse en un sistema que confirma todo. Haiku fue entrenado para contradecir más, mientras que Opus 4.5 redujo esa tendencia porque, en algunas pruebas, podía sentirse excesiva para el usuario.

Claude mantiene el requisito de 18 años

Claude.ai exige que sus usuarios tengan al menos 18 años. Durante el registro deben confirmar su edad y, si alguien menor de edad se identifica en una conversación, los sistemas pueden marcar la cuenta para revisión y desactivarla si se confirma que pertenece a un menor.

Anthropic desarrolla además un clasificador capaz de detectar señales más sutiles de que un usuario podría ser menor, aunque no lo diga de forma explícita. La empresa se ha unido al Family Online Safety Institute para trabajar en medidas de protección para niños y familias.

Para ti, el cambio más visible será la aparición de avisos y recursos de ayuda cuando Claude detecte una conversación de riesgo. Lo importante es entender sus límites: una IA puede orientar y conectar con apoyo humano, pero no puede evaluar una emergencia como un profesional ni sustituir la atención médica.

Anthropic seguirá publicando métodos y resultados, algo especialmente relevante en un área donde una tasa de acierto alta en laboratorio no elimina los fallos en conversaciones ambiguas. La próxima prueba será comprobar si Claude aprende a corregirse antes y mejor cuando una interacción ya ha tomado un rumbo peligroso.