NVIDIA lanza Cosmos Reason 2 para la IA física

NVIDIA ha lanzado Cosmos Reason 2, un modelo de IA abierto que analiza imágenes y vídeos para ayudar a robots y agentes a entender lo que ocurre en el mundo físico, planificar varios pasos y decidir qué hacer a continuación.

La compañía afirma que el modelo supera a su versión anterior en precisión y ocupa el primer puesto entre los modelos abiertos en los rankings Physical AI Bench y Physical Reasoning. Estos resultados corresponden a las evaluaciones citadas por NVIDIA.

De reconocer objetos a entender situaciones

Los modelos que combinan visión y lenguaje ya pueden identificar objetos, leer textos o describir una imagen. El problema aparece cuando deben interpretar una situación completa: prever cómo se moverá algo, actuar con información incompleta o adaptar un plan si cambian las condiciones.

Cosmos Reason 2 intenta resolver esa limitación. Analiza el espacio y el tiempo, usa conocimientos de sentido común y física, y descompone una tarea en pasos. Por ejemplo, puede estudiar un vídeo de una fábrica, localizar una pieza, seguir su trayectoria y señalar cuándo ocurre un incidente.

El modelo también puede proporcionar:

• Coordenadas de puntos en 2D y 3D.
• Cajas delimitadoras para localizar objetos.
• Trayectorias de movimiento.
• Reconocimiento de texto mediante OCR, la tecnología que convierte texto visible en información legible para una máquina.

Más contexto y dos tamaños de modelo

Cosmos Reason 2 está disponible en versiones de 2.000 millones y 8.000 millones de parámetros, una medida aproximada del tamaño interno de un modelo. La versión pequeña puede facilitar su uso en dispositivos con recursos limitados, mientras que la grande ofrece más capacidad para tareas complejas y puede desplegarse en la nube.

También amplía la ventana de contexto hasta 256.000 tokens, frente a los 16.000 de Cosmos Reason 1. En la práctica, esto le permite trabajar con vídeos, instrucciones o conversaciones mucho más extensas sin perder tan pronto la información inicial.

NVIDIA lo presenta como una pieza para varios tipos de sistemas:

• Análisis de vídeo: búsqueda de eventos, resúmenes y control de seguridad en lugares de trabajo.
• Preparación de datos: anotación automática de vídeos para entrenar otros sistemas de IA.
• Robótica: planificación de movimientos y elección del siguiente paso.
• Conducción autónoma: búsqueda de situaciones concretas en grandes colecciones de grabaciones.

Primeros usos en vídeo y conducción autónoma

Uber está explorando Cosmos Reason 2 para crear subtítulos consultables de vídeos usados en el entrenamiento de vehículos autónomos. En una receta desarrollada con el modelo de 8.000 millones de parámetros, la adaptación a vídeos de conducción elevó la puntuación BLEU un 10,6%, de 0,113 a 0,125.

También mejoró un 0,67% en una prueba de preguntas de opción múltiple sobre vídeo, de 80,18% a 80,85%, y un 13,8% en LingoQA, de 63,2% a 77,0%. Son resultados de una evaluación concreta, no una garantía de rendimiento para cualquier aplicación.

Salesforce, por su parte, utiliza agentes para analizar vídeos capturados por robots Cobalt en tareas de seguridad y cumplimiento laboral. Empresas como Hitachi, Milestone y VAST Data también están usando la familia Cosmos en robótica, conducción autónoma y análisis de vídeo.

Qué cambia para ti

No es una aplicación de consumo que vaya a sustituir de inmediato a un asistente del móvil. Su objetivo principal son los desarrolladores que crean robots, sistemas de vigilancia, herramientas de análisis de vídeo o vehículos autónomos.

La diferencia importante es que el modelo no se limita a decir qué aparece en una imagen. Puede intentar explicar qué está ocurriendo, dónde están los objetos, cómo se mueven y qué acción podría venir después. Eso puede reducir parte del trabajo manual necesario para revisar horas de vídeo o preparar datos de entrenamiento.

Cosmos Reason 2 ya se puede descargar en Hugging Face en sus versiones de 2B y 8B, y probar en la plataforma de NVIDIA. La compañía indica que llegará próximamente a Amazon Web Services, Google Cloud y Microsoft Azure.

El siguiente paso será comprobar si sus resultados en laboratorios y demostraciones se mantienen en entornos reales, donde hay mala iluminación, objetos inesperados y consecuencias físicas. En la IA aplicada al mundo físico, razonar mejor importa, pero actuar de forma fiable importa todavía más.