Anthropic prueba agentes de IA que negocian libros

Anthropic puso a 201 empleados y sus agentes de IA a negociar libros entre sí para comprobar qué ocurre cuando los modelos toman decisiones en un mercado. El resultado fue claro: los agentes supieron negociar, pero no siempre entendieron bien qué quería cada persona.

El experimento, llamado Project Swap, se realizó en seis oficinas de Anthropic: San Francisco, Nueva York, Londres, Seattle, Washington D. C. y Dublín. Cada participante llevó un libro que quería regalar y mantuvo una conversación breve con Claude sobre sus gustos y sobre qué le apetecía leer.

Después, el agente salió a un mercado digital para proponer intercambios, aceptar ofertas y negociar con otros agentes. La meta era sencilla: que cada persona terminara con un libro que disfrutara más que el que había llevado.

Claude entendió bastante bien los gustos, pero no del todo

Para medir la calidad de las decisiones, los participantes ordenaron diez libros según sus preferencias. Claude nunca vio esas listas. Solo utilizó la conversación inicial para crear una clasificación estimada de todos los libros disponibles.

La predicción de Claude coincidió con la elección humana en el 61% de las comparaciones entre pares de libros. Es mejor que adivinar al azar, que tendría un 50%, y también superó métodos simples basados en popularidad o en los libros que suelen gustar a lectores similares.

La conversación importaba. La mediana de los participantes escribió 216 palabras en ocho mensajes, y quienes aportaron unas 300 palabras en lugar de 150 obtuvieron aproximadamente cuatro puntos porcentuales más de coincidencia entre sus gustos y los del agente.

Pero una conversación breve no captura todos los matices. Alguien puede saber que quiere leer algo diferente sin ser capaz de explicar exactamente qué significa “diferente”. También hubo casos de personas que recibieron un libro que ya habían leído.

El principal problema no fue negociar

Anthropic comparó el resultado real con el mejor reparto posible. Si un sistema conociera perfectamente las preferencias de todos, la eficiencia del mercado llegaría a 0,89 en una escala donde 1 representa el resultado ideal.

El mercado descentralizado, en el que los agentes negociaban directamente, alcanzó 0,55 según las preferencias reales de los participantes. Para entender la causa de la diferencia, los investigadores calcularon qué habría ocurrido usando las preferencias imperfectas de Claude, pero con el mejor reparto posible.

Ese escenario llegó a 0,60. La conclusión es importante: el 85% de la distancia respecto al resultado óptimo se explicó por una mala representación de los gustos, mientras que solo el 15% se debió al funcionamiento del mercado y a las negociaciones.

En otras palabras, el agente no falló principalmente por no saber regatear. Falló porque no tenía suficiente información sobre la persona a la que representaba.

El modelo utilizado pesó más que las instrucciones

Anthropic repitió los mercados decenas de veces usando distintos modelos e instrucciones. Algunos agentes recibieron la orden de actuar de forma “implacable”, buscando únicamente el mejor libro para su usuario. Otros debían ser “prosociales” y tratar de que todos los participantes acabaran satisfechos.

La diferencia entre ambos grupos fue pequeña. Los agentes implacables obtuvieron una puntuación solo 0,02 superior en las preferencias estimadas por Claude. En cambio, cambiar un modelo Haiku por un Opus mejoró el resultado en aproximadamente 0,12 puntos.

En los mercados formados solo por agentes con instrucciones neutrales, los agentes basados en Haiku lograron una eficiencia media de 0,75 según sus propias preferencias estimadas. Los de Opus llegaron a 0,88, cerca del óptimo de 0,95 calculado con esas mismas preferencias. Sonnet quedó entre ambos y Fable se acercó a Opus, aunque algo por debajo.

Los agentes también mostraron comportamientos reconocibles: revelaban a menudo cuál era su libro favorito, comparaban ofertas, usaban la presión del tiempo y, en algunos casos, actuaban como intermediarios para ayudar a otros a cerrar un intercambio.

¿Confiarías a un agente una parte de tus decisiones?

Tres semanas después, los participantes valoraron con 7,2 sobre 10 el libro que habían recibido. Cerca de la mitad dijo que le gustaba más que la mayoría de los libros que elige por su cuenta.

Cuando les preguntaron qué parte de su presupuesto anual para libros dejarían bajo el control de un agente sin posibilidad de revisar cada compra, la respuesta media fue de aproximadamente el 30%. Para comparar, entregarían cerca del 40% a un amigo que conociera bien sus gustos.

La confianza también dependió de si Claude había resumido correctamente la conversación inicial. Quienes dijeron que el resumen no había omitido nada delegarían el 34% de su presupuesto. Quienes detectaron errores solo delegarían el 23%.

Esto apunta a una regla práctica para cualquier agente que vaya a actuar por ti: antes de darle autonomía, debería mostrarte cómo te ha entendido y qué decisiones tomaría con esa información.

El estudio fue pequeño y controlado. Todos los agentes eran modelos de Claude, se comportaban de forma cooperativa y operaban con reglas fijadas de antemano. Además, los participantes eran empleados de Anthropic, por lo que probablemente confiaban más en la tecnología que el público general.

Aun así, el experimento adelanta problemas que aparecerán cuando los agentes negocien empleos, compras, turnos o servicios por nosotros: cómo comprobar que representan fielmente a su usuario, quién responde cuando una operación falla, qué información debe ser visible y cómo evitar que miles de agentes saturen un mercado con mensajes.

La idea de un agente negociando por ti no se enfrenta primero a un problema de velocidad, sino de representación. Antes de preguntarle si puede conseguirte un mejor trato, tendrás que saber si realmente entiende qué trato quieres.