SurgWorld: Apprendimento di Politiche per Robot Chirurgici da Video tramite Modellazione del Mondo
SurgWorld: Learning Surgical Robot Policies from Videos via World Modeling
December 29, 2025
Autori: Yufan He, Pengfei Guo, Mengya Xu, Zhaoshuo Li, Andriy Myronenko, Dillan Imans, Bingjie Liu, Dongren Yang, Mingxue Gu, Yongnan Ji, Yueming Jin, Ren Zhao, Baiyong Shen, Daguang Xu
cs.AI
Abstract
La scarsità di dati rimane una barriera fondamentale per il raggiungimento di una piena autonomia dei robot chirurgici. Sebbene i modelli su larga scala di linguaggio visivo e azione (VLA) abbiano dimostrato un'impressionante capacità di generalizzazione nella manipolazione domestica e industriale sfruttando dati video-azione accoppiati da domini diversi, la robotica chirurgica soffre della carenza di dataset che includano sia osservazioni visive che cinematiche robotiche accurate. Al contrario, esistono vasti corpora di video chirurgici, ma questi mancano delle corrispondenti etichette d'azione, impedendo l'applicazione diretta dell'apprendimento per imitazione o dell'addestramento VLA. In questo lavoro, miriamo ad alleviare questo problema apprendendo modelli politici da SurgWorld, un modello mondiale progettato per l'IA fisica chirurgica. Abbiamo curato il dataset Surgical Action Text Alignment (SATA) con descrizioni d'azione dettagliate specifiche per robot chirurgici. Successivamente, abbiamo costruito SurgeWorld basandoci sul più avanzato modello mondiale di IA fisica e su SATA. Esso è in grado di generare video chirurgici diversificati, generalizzabili e realistici. Siamo anche i primi a utilizzare un modello di dinamica inversa per inferire pseudocinematiche da video chirurgici sintetici, producendo dati video-azione sintetici accoppiati. Dimostriamo che una politica VLA chirurgica addestrata con questi dati aumentati supera significativamente i modelli addestrati esclusivamente su dimostrazioni reali su una piattaforma robotica chirurgica reale. Il nostro approccio offre un percorso scalabile verso l'acquisizione autonoma di abilità chirurgiche sfruttando l'abbondanza di video chirurgici non etichettati e la modellazione mondiale generativa, aprendo così la porta a politiche per robot chirurgici generalizzabili ed efficienti dal punto di vista dei dati.
English
Data scarcity remains a fundamental barrier to achieving fully autonomous surgical robots. While large scale vision language action (VLA) models have shown impressive generalization in household and industrial manipulation by leveraging paired video action data from diverse domains, surgical robotics suffers from the paucity of datasets that include both visual observations and accurate robot kinematics. In contrast, vast corpora of surgical videos exist, but they lack corresponding action labels, preventing direct application of imitation learning or VLA training. In this work, we aim to alleviate this problem by learning policy models from SurgWorld, a world model designed for surgical physical AI. We curated the Surgical Action Text Alignment (SATA) dataset with detailed action description specifically for surgical robots. Then we built SurgeWorld based on the most advanced physical AI world model and SATA. It's able to generate diverse, generalizable and realistic surgery videos. We are also the first to use an inverse dynamics model to infer pseudokinematics from synthetic surgical videos, producing synthetic paired video action data. We demonstrate that a surgical VLA policy trained with these augmented data significantly outperforms models trained only on real demonstrations on a real surgical robot platform. Our approach offers a scalable path toward autonomous surgical skill acquisition by leveraging the abundance of unlabeled surgical video and generative world modeling, thus opening the door to generalizable and data efficient surgical robot policies.