FlexOlmo permite entrenar IA con datos privados

Ai2 presentó FlexOlmo, un método para entrenar modelos de lenguaje con datos privados sin que las organizaciones tengan que entregar sus archivos originales. La propuesta permite que hospitales, universidades, bancos o agencias públicas colaboren en un mismo modelo manteniendo el control sobre sus datos.

La idea responde a un problema concreto: los modelos de IA necesitan grandes cantidades de información, pero muchos datos no pueden compartirse públicamente por motivos de privacidad, propiedad intelectual o seguridad. Con los métodos tradicionales, una vez que los datos entran en el conjunto de entrenamiento, retirarlos o controlar su uso resulta muy difícil.

Cómo funciona FlexOlmo

Cada organización parte de un modelo público compartido y entrena localmente un módulo especializado, llamado «experto», usando sus propios datos. Después contribuye ese módulo al modelo común, sin enviar los datos originales.

El sistema combina varios de estos expertos mediante una arquitectura de tipo mixture-of-experts, o mezcla de expertos. Un componente llamado router decide qué experto resulta más útil según la consulta y el dominio del contenido.

El diseño también permite que los expertos se entrenen de forma independiente y en momentos distintos. No es necesario que todas las organizaciones coordinen sus procesos ni que trabajen sobre una base de datos centralizada.

Los responsables de cada conjunto de datos pueden, además:

• Activar o desactivar su contribución cuando quieran.
• Decidir quién puede utilizarla y durante cuánto tiempo.
• Actualizar el módulo con nuevos datos sin rehacer todo el modelo.
• Recibir atribución cuando sus datos se utilicen durante una inferencia, es decir, cuando el modelo genere una respuesta.

Esto diferencia a FlexOlmo del aprendizaje federado entre organizaciones, una técnica en la que varios participantes entrenan un modelo de manera coordinada. Según Ai2, FlexOlmo permite trabajar de forma más aislada y asíncrona, con la posibilidad de entrar o salir del sistema incluso después del entrenamiento.

Qué resultados obtuvo

En los experimentos de Ai2, añadir los módulos privados mejoró el rendimiento del modelo público original. El modelo compartido conservó las capacidades especializadas de cada experto y también se benefició de la diversidad de los distintos conjuntos de datos.

El rendimiento quedó muy cerca del de un modelo hipotético entrenado con todos los datos públicos y privados juntos. Esa comparación es importante porque el objetivo de FlexOlmo es aproximarse a las ventajas de centralizar los datos sin obligar a las organizaciones a compartirlos directamente.

La propuesta todavía es una línea de investigación, no una garantía de que cualquier conjunto de datos pueda incorporarse sin problemas. Los datos pueden tener distribuciones muy diferentes y los expertos deben aprender a coordinarse. Para resolverlo, cada módulo se entrena junto a una copia congelada del modelo público, que funciona como referencia común.

¿Se pueden recuperar los datos privados?

Compartir un módulo entrenado también plantea un riesgo: que alguien intente extraer información del conjunto original. Ai2 probó un ataque de extracción sobre un experto entrenado con datos matemáticos durante tres épocas, en un escenario elegido para producir cierto sobreajuste.

El ataque recuperó datos en el 0,7 % de los casos. Como comparación, un modelo sobreajustado durante 100 épocas sobre un subconjunto matemático pequeño alcanzó una tasa de extracción del 60 %. La diferencia sugiere que recuperar una cantidad relevante de datos desde un módulo de FlexOlmo puede ser difícil, aunque el riesgo no desaparece.

Las organizaciones que necesiten garantías más estrictas podrían entrenar sus expertos con privacidad diferencial. Esta técnica añade protección matemática contra la identificación o recuperación de ejemplos concretos, y cada participante puede decidir por separado si la utiliza.

Para ti, el cambio potencial es sencillo de entender: una organización podría aprovechar conocimientos de otras instituciones sin entregarles sus documentos, historiales o bases de datos. En sanidad, por ejemplo, varios hospitales podrían contribuir a un modelo especializado sin poner en común sus registros clínicos.

FlexOlmo intenta convertir los datos privados en una contribución controlable, no en una cesión permanente. Lo que habrá que seguir es si este modelo consigue funcionar a gran escala y si sus mecanismos de activación, retirada y atribución ofrecen garantías suficientes para que sectores sensibles se animen a participar.