SurgWorld: Aprendizado de Políticas para Robôs Cirúrgicos a partir de Vídeos via Modelagem de Mundo
SurgWorld: Learning Surgical Robot Policies from Videos via World Modeling
December 29, 2025
Autores: Yufan He, Pengfei Guo, Mengya Xu, Zhaoshuo Li, Andriy Myronenko, Dillan Imans, Bingjie Liu, Dongren Yang, Mingxue Gu, Yongnan Ji, Yueming Jin, Ren Zhao, Baiyong Shen, Daguang Xu
cs.AI
Resumo
A escassez de dados continua a ser uma barreira fundamental para a realização de robôs cirúrgicos totalmente autónomos. Embora os grandes modelos visão-linguagem-ação (VLA) tenham demonstrado uma generalização impressionante na manipulação doméstica e industrial, aproveitando dados de ação de vídeo emparelhados de diversos domínios, a robótica cirúrgica sofre com a escassez de conjuntos de dados que incluam observações visuais e cinemática robótica precisa. Em contraste, existem vastos corpora de vídeos cirúrgicos, mas estes carecem de etiquetas de ação correspondentes, impedindo a aplicação direta de aprendizagem por imitação ou treino VLA. Neste trabalho, visamos mitigar este problema ao aprender modelos de política a partir do SurgWorld, um modelo de mundo concebido para IA física cirúrgica. Curadámos o conjunto de dados SATA (Surgical Action Text Alignment) com descrições de ação detalhadas especificamente para robôs cirúrgicos. De seguida, construímos o SurgeWorld baseado no modelo de mundo de IA física mais avançado e no SATA. Este é capaz de gerar vídeos cirúrgicos diversificados, generalizáveis e realistas. Somos também os primeiros a usar um modelo de dinâmica inversa para inferir pseudocinemática a partir de vídeos cirúrgicos sintéticos, produzindo dados sintéticos de ação de vídeo emparelhados. Demonstramos que uma política VLA cirúrgica treinada com estes dados aumentados supera significativamente modelos treinados apenas em demonstrações reais numa plataforma robótica cirúrgica real. A nossa abordagem oferece um caminho escalável para a aquisição autónoma de competências cirúrgicas, aproveitando a abundância de vídeo cirúrgico não etiquetado e a modelação generativa de mundos, abrindo assim a porta a políticas para robôs cirúrgicos generalizáveis e eficientes em termos de dados.
English
Data scarcity remains a fundamental barrier to achieving fully autonomous surgical robots. While large scale vision language action (VLA) models have shown impressive generalization in household and industrial manipulation by leveraging paired video action data from diverse domains, surgical robotics suffers from the paucity of datasets that include both visual observations and accurate robot kinematics. In contrast, vast corpora of surgical videos exist, but they lack corresponding action labels, preventing direct application of imitation learning or VLA training. In this work, we aim to alleviate this problem by learning policy models from SurgWorld, a world model designed for surgical physical AI. We curated the Surgical Action Text Alignment (SATA) dataset with detailed action description specifically for surgical robots. Then we built SurgeWorld based on the most advanced physical AI world model and SATA. It's able to generate diverse, generalizable and realistic surgery videos. We are also the first to use an inverse dynamics model to infer pseudokinematics from synthetic surgical videos, producing synthetic paired video action data. We demonstrate that a surgical VLA policy trained with these augmented data significantly outperforms models trained only on real demonstrations on a real surgical robot platform. Our approach offers a scalable path toward autonomous surgical skill acquisition by leveraging the abundance of unlabeled surgical video and generative world modeling, thus opening the door to generalizable and data efficient surgical robot policies.