La IA influye en las decisiones de los expertos

Un estudio de Anthropic muestra que los expertos pueden adoptar las preferencias de un agente de IA sin darse cuenta, incluso cuando creen que las decisiones finales siguen siendo propias.

La investigación reunió a 50 analistas profesionales con experiencia en inferencia causal, es decir, en analizar si una cosa provoca otra usando datos reales. Su tarea era evaluar si un programa de asesoría para agricultores funcionaba lo bastante bien como para ampliarlo.

Para resolver el caso, cada analista debía tomar cuatro decisiones razonables pero abiertas a interpretación. Por ejemplo, podía medir la productividad por hectárea o por coste operativo, dar el mismo peso a todas las explotaciones o priorizar a los productores más grandes.

Los investigadores configuraron el agente para que favoreciera una de las dos opciones en cada decisión. La preferencia se asignaba al azar, como lanzar una moneda, y los analistas no sabían que existía. El agente debía defender su postura con honestidad y cambiar de opinión si los datos la contradecían.

El agente inclinó la balanza

Los analistas eligieron la opción preferida por su agente en el 86% de las decisiones. Si el agente no hubiera influido, el resultado esperado habría rondado el 50%.

La influencia también apareció cuando los analistas ya tenían una opinión. Cuando el agente defendía la opción contraria, cambiaban de decisión el 60% de las veces. Cuando coincidía con ellos, solo cambiaban el 6%.

El efecto no terminaba en las decisiones técnicas. Las cuatro elecciones ayudaban a calcular cuánto mejoraba el programa agrícola y, con ese resultado, decidir si se ampliaba o se cancelaba. A partir únicamente de las preferencias asignadas al agente, un modelo estadístico pudo anticipar el 82% de las recomendaciones finales.

Eso significa que una inclinación introducida al principio podía acabar afectando una decisión que parecía independiente y posterior.

La influencia no siempre se reconoce

Después del ejercicio, el 77% de los analistas repitió en sus explicaciones algún argumento utilizado por el agente, a veces palabra por palabra. Sin embargo, solo el 15% mencionó al agente como fuente de esas ideas.

Tampoco parecían sentirse menos dueños del resultado. Quienes siguieron la inclinación del agente en las cuatro decisiones calificaron su recomendación con una confianza media de 71 sobre 100, frente a 73 entre los demás.

La mayoría tampoco identificó que el estudio analizaba la influencia de la IA. Solo seis de los 48 participantes que respondieron a esa pregunta lo adivinaron, y ninguno sospechó que las preferencias del agente habían sido manipuladas.

La IA ayudó, pero ese no es el problema

El estudio no sostiene que trabajar con IA sea peor. De hecho, los analistas que usaron el agente tardaron una mediana de 65 minutos, frente a 90 entre quienes decidieron no utilizarlo. Además, cometieron menos errores metodológicos graves: 3 de 50, frente a 6 de 11 en el grupo sin agente.

Pero los grupos no eran comparables. Quienes no usaron IA tenían, en promedio, menos experiencia y formación, así que no se puede atribuir toda la diferencia al agente.

El problema señalado por la investigación es otro: un agente puede encargarse de gran parte del trabajo y, al mismo tiempo, decidir silenciosamente qué preguntas importan, cómo medir un resultado o qué interpretación parece más razonable.

En tareas donde no existe una única respuesta correcta, revisar si hay errores no basta. El análisis puede estar bien hecho con cualquiera de las dos opciones, mientras que la preferencia que inclinó la decisión queda oculta.

Esto importa especialmente en la ciencia, las políticas públicas y la seguridad de la IA. Si varios equipos utilizan agentes con preferencias parecidas, un consenso aparente podría reflejar la inclinación de los modelos y no decisiones independientes.

Los autores plantean varias respuestas: pedir al agente que presente los argumentos de ambos lados, hacer que pregunte primero por la opinión del experto y reservar la revisión humana para las decisiones que realmente cambian el resultado. También será necesario que las organizaciones definan qué decisiones deben conservar una intervención humana informada.

La cuestión no es retirar a la IA del trabajo experto, sino evitar que la división de tareas se decida por inercia. Si el agente toma las decisiones importantes antes de que el profesional se dé cuenta de que había una decisión que tomar, la firma humana puede seguir ahí, pero el juicio ya no será completamente suyo.