NVIDIA lleva la IA generativa a la cirugía robótica

NVIDIA ha presentado Cosmos-H-Dreams, un simulador de IA generativa que predice en tiempo real cómo cambiaría una escena quirúrgica según los movimientos de un robot. El sistema puede recibir una imagen inicial y una secuencia de acciones, generar los siguientes fotogramas y continuar la simulación mientras el robot o una persona siguen interactuando.

La idea no es operar pacientes. Es crear un entorno virtual en el que los robots quirúrgicos y sus controladores puedan entrenarse, probarse y equivocarse sin poner en riesgo un equipo físico ni depender de horas limitadas de laboratorio.

De simulaciones programadas a escenarios aprendidos

Los simuladores tradicionales requieren que los desarrolladores describan manualmente los objetos, las reglas físicas y las consecuencias de cada movimiento. Los modelos de mundo, en cambio, aprenden esas relaciones a partir de vídeos sincronizados con los movimientos de un robot.

La versión anterior, Cosmos-H-Surgical-Simulator, podía recibir una imagen del contexto quirúrgico y una trayectoria futura del robot para generar un vídeo con el resultado probable. Esto permite evaluar una política, es decir, el sistema que decide qué movimiento debe realizar el robot, sin ejecutar cada prueba en hardware real.

Cosmos-H-Dreams lleva esa capacidad a un entorno interactivo. En lugar de generar una simulación completa de una vez, produce pequeños bloques de vídeo y los actualiza a medida que llegan nuevas acciones.

Más velocidad para probar más movimientos

El modelo está especializado en tareas de sutura sobre mesa con el robot da Vinci Research Kit (dVRK). NVIDIA lo entrenó a partir de demostraciones exitosas y también de episodios con errores, como agujas caídas, lanzamientos fallidos y nudos mal hechos.

Ese detalle es importante. Un simulador que solo reproduce movimientos perfectos no sirve para saber cómo responderá un robot cuando una política se equivoque. Para entrenar y evaluar sistemas autónomos, también debe mostrar las consecuencias de las malas decisiones.

NVIDIA afirma que el sistema pasa de aproximadamente 10 fotogramas por segundo en la inferencia estándar del simulador anterior a cerca de 160 fotogramas por segundo con Cosmos-H-Dreams, usando una sola GPU RTX PRO 6000.

La aceleración combina dos piezas. Primero, NVIDIA destila el modelo grande, llamado profesor, en un modelo más pequeño que necesita solo unos pocos pasos de generación. Después, lo ejecuta con FlashDreams, una biblioteca que reduce la latencia mediante técnicas como cachés de memoria, compilación del modelo y ejecución optimizada en CUDA.

También puede controlarlo una persona o una política

El sistema ofrece varias formas de interacción:

• Un cliente web recibe los fotogramas por WebRTC y permite enviar comandos desde el teclado.
• Un visor Meta Quest puede traducir los movimientos de sus mandos en acciones para el robot y mostrar la escena mediante WebXR.
• Una política aprendida puede intercambiar acciones y observaciones con el simulador en un ciclo cerrado.

NVIDIA también colaboró con CMR Surgical y Cambridge Consultants para integrar una demostración en el controlador del cirujano del robot Versius. Esto no convierte el modelo en un sistema médico aprobado ni significa que controle operaciones reales.

Qué cambia en la práctica

Para quienes desarrollan robótica quirúrgica, el beneficio principal es poder realizar más experimentos con menos acceso al hardware. El modelo puede ayudar a:

• Generar datos sintéticos para entrenar robots.
• Probar políticas antes de llevarlas a un equipo físico.
• Crear fallos poco frecuentes bajo demanda.
• Comparar rápidamente distintas estrategias de movimiento.
• Investigar cómo afectan la latencia y los errores a una tarea quirúrgica.

Pero generar vídeos plausibles no basta. El simulador debe respetar la posición de los instrumentos, mantener la escena estable durante mucho tiempo y predecir consecuencias que coincidan con las observadas en el robot real. NVIDIA propone evaluar aspectos como la precisión de la punta de la herramienta, el comportamiento de las pinzas, la estabilidad cuando no hay movimiento y la diferencia entre los resultados simulados y los reales.

Cosmos-H-Dreams es una plataforma de investigación y desarrollo, no un sistema de diagnóstico, una herramienta que sustituya a la imagen intraoperatoria ni un controlador para robots quirúrgicos físicos. Su importancia está en abrir un espacio de pruebas más rápido y flexible para que las políticas de robótica aprendan antes de enfrentarse al mundo real.

El siguiente paso será comprobar cuánto de lo que ocurre en la simulación se mantiene fuera de ella. Si la fidelidad y la estabilidad mejoran, estos modelos podrían conectar formación, generación de datos, entrenamiento y evaluación de robots dentro de un mismo entorno virtual.