DiScoFormer estima densidad y score con un transformer

DiScoFormer es un nuevo modelo que recibe un conjunto de datos y estima, de una sola vez, la densidad y el score de la distribución que los generó, sin tener que entrenarse de nuevo para cada problema.

La densidad indica qué valores son frecuentes y cuáles raros. Es una versión continua de un histograma: sube donde los datos se concentran y baja donde escasean. El score es el gradiente del logaritmo de esa densidad, una señal que apunta hacia la zona donde los datos son más probables.

Puede parecer una distinción matemática, pero aparece en tecnologías que ya utilizas. Los modelos de difusión, como los que generan imágenes, parten de ruido y siguen el score paso a paso hasta convertirlo en algo realista. El mismo cálculo también se utiliza para muestrear hipótesis en estadística bayesiana o simular sistemas físicos como el plasma.

El problema de las herramientas actuales

Estimar una distribución a partir de una cantidad limitada de datos no es sencillo, sobre todo cuando cada dato tiene muchas dimensiones. Las dos opciones más habituales tienen ventajas distintas.

• KDE, o estimación de densidad por núcleos, calcula la densidad según la distancia y cantidad de puntos cercanos. No necesita entrenamiento y funciona con muchas distribuciones.
• Los modelos neuronales de score suelen mantener mejor su precisión en espacios de alta dimensión, pero deben aprender cada distribución por separado y volver a entrenarse para cada nuevo caso.

DiScoFormer intenta combinar ambas ventajas. Utiliza bloques de transformer y atención cruzada para consultar la densidad y el score en cualquier punto, aunque ese punto no forme parte de los datos originales.

El modelo comparte una misma base y añade dos salidas: una para la densidad y otra para el score. Como ambas cantidades están conectadas matemáticamente, el score debe coincidir con el gradiente de la densidad. Esa relación permite detectar errores sin disponer de una respuesta correcta durante el uso.

Adaptación sin datos etiquetados

Cuando recibe una distribución distinta de las que vio durante el entrenamiento, DiScoFormer puede mantener fijos los datos de contexto y hacer unos pocos pasos de ajuste para reforzar la coherencia entre sus dos salidas. No necesita conocer la densidad ni el score verdaderos de esa nueva distribución.

Es una forma de adaptación en el momento de la inferencia. En la práctica, el modelo puede ajustarse a un caso nuevo sin iniciar un entrenamiento completo desde cero.

La arquitectura también tiene una conexión directa con un método clásico. Los investigadores muestran que los pesos de una cabeza de atención se comportan de forma parecida a un núcleo gaussiano, la función que utiliza KDE para dar más importancia a los puntos cercanos.

Por eso, DiScoFormer no elimina ese método y lo sustituye por una caja negra. Incluye a KDE como un caso especial, pero puede aprender varias escalas de influencia y ajustarlas a los datos en lugar de usar una sola configuración fija.

Resultados en hasta 100 dimensiones

Para entrenarlo, el equipo generó mezclas de gaussianas, conocidas como GMM. Cada mezcla define una distribución con varias concentraciones de datos y permite calcular con exactitud tanto su densidad como su score. En cada lote de entrenamiento se creaba una mezcla nueva, lo que proporcionaba al modelo una gran variedad de ejemplos.

Según las pruebas presentadas:

• En 100 dimensiones, DiScoFormer redujo el error del score unas 6,5 veces frente al mejor KDE ajustado manualmente.
• En esa misma prueba, redujo el error de densidad más de 37 veces.
• Siguió mejorando al añadir más muestras, mientras que KDE llegó a quedarse sin memoria.
• También funcionó con mezclas que tenían más modos de los vistos durante el entrenamiento y con distribuciones no gaussianas, como Laplace y Student-t.

KDE conserva una ventaja importante: suele ser más rápido cuando los conjuntos de datos son pequeños. Además, estos resultados corresponden a una investigación y no convierten automáticamente a DiScoFormer en una herramienta lista para cualquier aplicación.

La importancia del trabajo está en que un mismo estimador podría reutilizarse en generación de contenido, inferencia bayesiana y simulación científica. Si mantiene su precisión fuera de los ejemplos de entrenamiento, el siguiente paso será comprobar cuánto de ese rendimiento se conserva en problemas reales, con datos imperfectos y distribuciones mucho más complejas.