NVIDIA lanza Cosmos 3, un modelo abierto para robots

NVIDIA ha presentado Cosmos 3, un modelo abierto diseñado para que robots, vehículos autónomos y sistemas inteligentes entiendan el mundo físico y actúen dentro de él. La nueva versión unifica en un solo sistema tareas que antes requerían varios modelos separados.

Cosmos 3 puede analizar texto, imágenes, vídeo, audio y acciones. También puede generar imágenes y vídeos, anticipar qué ocurrirá después en una escena y proponer acciones basadas en la posición de los objetos y las leyes básicas del movimiento.

Un solo modelo para entender y actuar

En las versiones anteriores, NVIDIA dividía estas funciones entre modelos especializados: unos generaban mundos virtuales, otros interpretaban escenas, controlaban la generación o producían instrucciones para robots.

Cosmos 3 reúne esas capacidades en una arquitectura llamada Mixture-of-Transformers (MoT). En términos sencillos, utiliza partes especializadas para cada tipo de información, pero las conecta dentro del mismo modelo. Así puede pasar de describir una escena a simular su evolución o decidir qué acción debe realizar un robot.

Por ejemplo, podría recibir una imagen de una mesa con varios objetos y una instrucción como «coloca la taza a la izquierda del libro». También puede generar un vídeo de un vehículo que encuentra restos en la carretera o crear escenas sintéticas para entrenar a un robot en un almacén.

"Cosmos 3 gives you the foundation to simulate and understand the physical world."

Dos versiones para distintos usos

El lanzamiento incluye dos modelos disponibles en Hugging Face:

• Cosmos 3 Nano: tiene 8.000 millones de parámetros para el razonador y otros 8.000 millones para el generador. Está pensado para una inferencia más eficiente y puede ejecutarse en equipos de trabajo con hardware como la GPU RTX PRO 6000.
• Cosmos 3 Super: cuenta con 32.000 millones de parámetros para cada una de esas funciones. Está orientado a investigación y generación de grandes volúmenes de datos sintéticos, con GPUs NVIDIA Hopper y Blackwell.

La compañía también publica tarjetas de modelo, licencias, scripts para adaptar Cosmos 3 a datos propios y una integración con Diffusers, la biblioteca de Hugging Face utilizada para crear imágenes y vídeos con modelos generativos.

Datos sintéticos para entrenar robots

Una de las piezas importantes del lanzamiento son los conjuntos de datos sintéticos. Se generan en simulaciones y sirven para entrenar o evaluar sistemas de IA sin tener que registrar cada situación en el mundo real.

NVIDIA publica datos sobre varios ámbitos:

• Escenas de robots y operaciones de almacén
• Interacciones físicas y razonamiento espacial
• Movimiento humano sintético
• Escenarios de conducción autónoma

Esto permite, por ejemplo, crear miles de situaciones de riesgo en un almacén o simular casos poco frecuentes en carretera. Después, los equipos pueden usar esos ejemplos para mejorar un sistema antes de probarlo con personas, vehículos o robots reales.

Qué cambia para ti

Cosmos 3 no es un asistente pensado para el usuario general ni un robot listo para comprar. Es una base para desarrolladores que necesitan enseñar a una máquina cómo funciona un entorno y qué consecuencias puede tener una acción.

Un fabricante podría usarlo para simular cómo un brazo robótico recoge objetos distintos. Una empresa de transporte podría generar escenarios de conducción difíciles. En ambos casos, el objetivo es reducir la dependencia de pruebas físicas costosas y ampliar la cantidad de situaciones con las que se entrena el sistema.

Aun así, NVIDIA indica que algunos proyectos necesitarán un entrenamiento adicional con datos propios. Un robot que dobla ropa, por ejemplo, tendrá que adaptarse a su brazo, su cámara, su espacio de trabajo y los tipos de prendas que encontrará.

Cosmos 3 acerca la generación de vídeo y el control de acciones dentro de una misma herramienta, pero las simulaciones no sustituyen por completo las pruebas reales. El siguiente punto a vigilar será comprobar cuánto de lo aprendido en esos mundos sintéticos se mantiene cuando el robot se enfrenta a objetos, personas y errores que no estaban previstos.