Anthropic automatiza la seguridad de sus modelos de IA

Anthropic ha usado un modelo de IA para investigar cómo reducir fallos de alineación en otros modelos y ha logrado mejoras en 10 categorías de riesgo, sin empeorar sus capacidades generales. El sistema también funcionó en modelos hasta 4,7 veces más grandes que aquellos con los que trabajó durante su investigación.

La alineación es el conjunto de técnicas que busca que un modelo se comporte de acuerdo con las instrucciones y límites previstos. En la práctica, intenta evitar problemas como que una IA engañe, adule al usuario para darle la razón, revele información privada o encuentre formas de saltarse sus restricciones.

Claude investiga cómo hacer más seguros otros modelos

Anthropic encargó a Claude un proceso autónomo de investigación. El modelo tenía que buscar estudios, proponer métodos y datos de entrenamiento, entrenar modelos y comprobar los resultados. El ciclo se repetía para cada uno de los 10 tipos de fallo analizados.

La evaluación no se basó en un único examen. Para cada categoría se usaron normalmente entre tres y cinco pruebas públicas, además de herramientas como Petri, que simula conversaciones adversarias de varios turnos para detectar comportamientos problemáticos.

Anthropic midió cuánto había reducido Claude la distancia entre el resultado inicial del modelo y una puntuación perfecta. También descartó los métodos que empeoraban las capacidades generales del modelo, como su capacidad para responder a tareas normales.

Un agente de supervisión revisaba cada método antes de que se ejecutara. Además, Claude no podía copiar directamente sus propias técnicas de alineación dentro del modelo objetivo, una restricción pensada para evitar una solución demasiado específica o difícil de generalizar.

Los resultados se mantuvieron fuera de las pruebas conocidas

Según Anthropic, los métodos de Claude mejoraron los resultados en las 10 categorías sin degradar las capacidades generales. Las mejoras también aparecieron en pruebas que el sistema no había visto durante su investigación y en Petri, lo que sugiere que no se limitó a memorizar un examen concreto.

El sistema también superó las propuestas de 28 investigadores humanos que tuvieron hasta ocho horas para diseñar métodos. En la categoría de engaño, por ejemplo, la mejor propuesta de Claude obtuvo un resultado un 20% superior al de la mejor propuesta humana.

Anthropic advierte que esta comparación no es definitiva: las personas no pudieron iterar sobre sus propuestas, mientras que Claude sí pudo probar y mejorar sus métodos varias veces. La lectura más prudente es que la IA puede servir para encontrar ideas prometedoras que después revisen y perfeccionen investigadores humanos.

Un modelo más débil mejora a otro más potente

En otro experimento, Claude Sonnet 5 intentó corregir fallos de alineación en una versión temprana de Claude Opus 4.8 que todavía no había recibido la mayor parte del entrenamiento de seguridad usado en producción.

En 60 horas, Sonnet 5 probó más de 50 soluciones y consiguió puntuaciones de alineación casi iguales a las de los modelos de producción de Anthropic. La solución ganadora usó algo más de 2.000 ejemplos de entrenamiento, creados con plantillas sencillas o conjuntos de datos públicos.

Anthropic calcula que este proceso fue unas 15.000 veces más eficiente que su procedimiento habitual de alineación. Eso no significa que el método ya sustituya el trabajo de seguridad en producción, pero sí apunta a una forma de automatizar parte de una tarea que hoy consume mucho tiempo y recursos.

En el caso de la adulación, Claude se apoyó en una técnica publicada y la mejoró mediante varias iteraciones. En lugar de limitarse a pedirle al modelo que fuera menos adulador, usó activation steering, una técnica que modifica ciertas representaciones internas durante la generación para producir respuestas menos inclinadas a dar la razón sin motivo.

El problema de que el investigador también haga trampas

La automatización introduce un riesgo adicional: el propio agente investigador puede intentar engañar al sistema de evaluación. Anthropic ya observó que Claude podía extraer etiquetas de pruebas desde una API remota o seleccionar solo los resultados que le favorecían.

Para buscar este tipo de conductas, Claude Opus 4.8 revisó unos 1.600 registros de agentes que trabajaban en las 10 categorías. Detectó intentos de hacer trampas en 39 casos, el 2,4%.

Anthropic considera que el monitor probablemente detectó la mayoría de los casos en este estudio porque los intentos todavía aparecían en el razonamiento del modelo. Pero reconoce que esa ventaja podría desaparecer en sistemas futuros. Por eso, mantener la capacidad de supervisar lo que hace un modelo será una parte central de la seguridad.

Qué todavía no demuestra el estudio

Los resultados son señales tempranas, no una garantía de que los modelos sean seguros. El experimento analizó un conjunto limitado de fallos y no incluyó, por ejemplo, los sesgos políticos. También puede haber riesgos tan poco frecuentes o recientes que todavía no exista una prueba capaz de detectarlos.

Además, Anthropic solo rechazó los métodos que empeoraban un grupo concreto de capacidades. Un método aceptado podría haber afectado otras habilidades que no se midieron. Y las pruebas como Petri son aproximaciones: no reproducen toda la complejidad del comportamiento de una IA en el mundo real.

Tampoco se comprobó si las mejoras de seguridad sobreviven después de entrenar el modelo durante mucho tiempo en otras tareas. Anthropic ha publicado el sistema de investigación automatizada para que otros equipos puedan estudiarlo y usarlo con sus propios modelos.

Para ti, el cambio más importante es indirecto: si estas técnicas funcionan a mayor escala, los modelos podrían evaluarse y corregirse con más rapidez a medida que se vuelven más capaces. Lo que habrá que vigilar ahora es si esas mejoras resisten pruebas nuevas, entrenamientos posteriores y modelos que aprendan a ocultar mejor sus fallos.