Perplexity mejora la búsqueda con embeddings contextuales

Perplexity ha presentado pplx-embed-v2-context-9b-preview, un modelo diseñado para que los sistemas de búsqueda no encuentren solo la frase que contiene una respuesta, sino también el contexto necesario para entenderla y comprobarla.

La idea resuelve un problema habitual en buscadores internos y sistemas de IA que consultan documentos. Una frase puede responder a una pregunta, pero ser inútil por sí sola: quizá menciona “la empresa” sin decir cuál, usa un pronombre cuyo referente aparece varias páginas antes o forma parte de una tabla cuyo encabezado está en otra sección.

El problema de buscar por fragmentos

Los documentos largos suelen dividirse en fragmentos pequeños para poder indexarlos y buscarlos con rapidez. Cada fragmento se convierte en un vector, una representación numérica de su significado, y el sistema compara esos vectores con la consulta del usuario.

El inconveniente es que el fragmento pierde parte del contexto original. Si una frase dice “la cobertura dura 18 meses”, no sabrás necesariamente si habla de instalaciones domésticas, comerciales o de un producto concreto. Guardar todo el documento como un único vector tampoco soluciona el problema: una sola representación no puede reflejar con precisión todos sus detalles.

Los embeddings contextuales intentan cubrir ese vacío. Representan cada fragmento teniendo en cuenta el documento completo, aunque después el sistema siga almacenando y recuperando fragmentos individuales.

De una única respuesta a la evidencia necesaria

La mayoría de los modelos se entrenan con un método sencillo: para cada pregunta se marca un único fragmento correcto, conocido como gold passage. El modelo aprende a colocarlo por encima de los demás.

Ese enfoque trata como irrelevantes todos los fragmentos restantes, incluso cuando alguno aporta información imprescindible para interpretar la respuesta. En un contrato, por ejemplo, la cantidad del alquiler puede aparecer en una frase, mientras que la dirección, el nombre del inquilino y la fecha de vencimiento están en otras partes del documento.

El nuevo modelo de Perplexity aprende a recuperar ambos tipos de contenido:

• El fragmento que contiene la respuesta.
• Los fragmentos que aclaran a qué entidad, fecha o versión se refiere.
• La evidencia que permite verificar que la respuesta es correcta.

Para entrenarlo, Perplexity utiliza un modelo de compresión de contexto como profesor. Ese modelo asigna una puntuación de relevancia a cada palabra del documento según la consulta. Después, esas puntuaciones se combinan para enseñar al embedding qué fragmentos son más importantes y cuáles solo ofrecen apoyo parcial.

El profesor solo interviene durante el entrenamiento. Al buscar, el modelo produce un embedding por fragmento sin añadir una etapa de compresión ni de reordenamiento, por lo que no aumenta el coste de inferencia. También ofrece vectores de 1.024 y 2.048 dimensiones, además de una versión cuantizada en int8, que reduce el espacio necesario para almacenarlos.

Resultados en un benchmark centrado en el contexto

Perplexity evaluó el modelo en context-bench, un benchmark creado y administrado de forma privada por turbopuffer. Incluye 2.099 consultas sobre 38.894 documentos largos, con 2.458.072 fragmentos de una frase y contenidos de 21 áreas, como contratos legales, investigación clínica, documentación técnica y archivos corporativos.

El benchmark mide tres capacidades diferentes:

• Encontrar el documento correcto entre documentos casi idénticos.
• Recuperar el fragmento que contiene la respuesta.
• Recuperar la evidencia necesaria para interpretarla o verificarla.

Según los resultados publicados por Perplexity, el modelo alcanzó en context-bench un 45,5 % de recuperación de respuestas, un 40,6 % de recuperación de evidencia y un 31,1 % de recuperación completa de la evidencia cuando se revisan los 10 primeros resultados. También obtuvo un 61,6 % en la capacidad de colocar el documento correcto entre esos 10 resultados.

La empresa afirma que el modelo superó a voyage-context-4 en 14,4 puntos porcentuales en recuperación de respuestas y en 5 puntos en recuperación de evidencia con ese mismo corte. La evaluación fue una entrega ciega y el benchmark no se utilizó durante el desarrollo, según Perplexity. Como el conjunto de datos permanece privado, otros equipos deben solicitar a turbopuffer que evalúe sus modelos.

Qué cambia para ti

La mejora importa sobre todo en sistemas que responden preguntas usando documentos propios: buscadores empresariales, asistentes legales, herramientas para analizar contratos o sistemas que consultan manuales técnicos.

En vez de devolverte una frase aislada como “el plazo es de 45 días”, el buscador tiene más posibilidades de recuperar también el párrafo que explica que ese plazo se aplica después de una modificación concreta. Eso reduce respuestas ambiguas y facilita que una persona compruebe rápidamente si la IA encontró el documento correcto.

El modelo también ofrece una ventaja práctica de almacenamiento. Perplexity afirma que sus vectores int8 de 1.024 dimensiones ocupan 1 KB por vector, frente a los 8 KB de un vector de 2.048 dimensiones en formato float32 de otro sistema comparado. La cifra se refiere al vector, no al índice completo.

El modelo está disponible como vista previa en Hugging Face. Perplexity trabaja además en incorporarlo a su API, pero todavía no presenta esa disponibilidad como un lanzamiento terminado.

La dirección que marca esta noticia es concreta: los sistemas de recuperación empiezan a valorar no solo qué fragmento contiene la respuesta, sino qué información hace que esa respuesta tenga sentido. Para los asistentes de IA, encontrar el dato será solo la mitad del trabajo; la otra mitad será demostrar que pertenece al documento correcto y que puede sostenerse con su contexto.