SurgWorld: Обучение стратегий хирургических роботов на основе видео через моделирование мира

SurgWorld: Learning Surgical Robot Policies from Videos via World Modeling

December 29, 2025

Авторы: Yufan He, Pengfei Guo, Mengya Xu, Zhaoshuo Li, Andriy Myronenko, Dillan Imans, Bingjie Liu, Dongren Yang, Mingxue Gu, Yongnan Ji, Yueming Jin, Ren Zhao, Baiyong Shen, Daguang Xu

cs.AI

Аннотация

Нехватка данных остается фундаментальным барьером на пути к созданию полностью автономных хирургических роботов. В то время как крупномасштабные модели "видение-язык-действие" (VLA) продемонстрировали впечатляющую способность к обобщению в задачах манипулирования в бытовой и промышленной средах, используя парные данные видео и действий из различных областей, хирургическая робототехника страдает от недостатка наборов данных, включающих как визуальные наблюдения, так и точную кинематику робота. В отличие от этого, существуют обширные корпусы хирургических видео, но им не хватает соответствующих меток действий, что препятствует прямому применению обучения с подражанием или обучению VLA-моделей. В данной работе мы стремимся смягчить эту проблему, обучая модели политик на основе SurgWorld, модельного мира, созданного для физического ИИ в хирургии. Мы подготовили набор данных SATA с детальными описаниями действий, специально предназначенный для хирургических роботов. Затем мы построили SurgeWorld на основе самой передовой модели физического ИИ и набора SATA. Эта система способна генерировать разнообразные, обобщаемые и реалистичные хирургические видео. Мы также первыми применили модель обратной динамики для вывода псевдокинематики из синтетических хирургических видео, создавая синтетические парные данные "видео-действие". Мы показываем, что хирургическая VLA-политика, обученная с использованием этих дополненных данных, значительно превосходит модели, обученные только на реальных демонстрациях, на реальной платформе хирургического робота. Наш подход предлагает масштабируемый путь к автономному приобретению хирургических навыков за счет использования обилия немаркированных хирургических видео и генеративного модельного мира, открывая thus дверь для обобщаемых и эффективных по данным политик хирургических роботов.

English

Data scarcity remains a fundamental barrier to achieving fully autonomous surgical robots. While large scale vision language action (VLA) models have shown impressive generalization in household and industrial manipulation by leveraging paired video action data from diverse domains, surgical robotics suffers from the paucity of datasets that include both visual observations and accurate robot kinematics. In contrast, vast corpora of surgical videos exist, but they lack corresponding action labels, preventing direct application of imitation learning or VLA training. In this work, we aim to alleviate this problem by learning policy models from SurgWorld, a world model designed for surgical physical AI. We curated the Surgical Action Text Alignment (SATA) dataset with detailed action description specifically for surgical robots. Then we built SurgeWorld based on the most advanced physical AI world model and SATA. It's able to generate diverse, generalizable and realistic surgery videos. We are also the first to use an inverse dynamics model to infer pseudokinematics from synthetic surgical videos, producing synthetic paired video action data. We demonstrate that a surgical VLA policy trained with these augmented data significantly outperforms models trained only on real demonstrations on a real surgical robot platform. Our approach offers a scalable path toward autonomous surgical skill acquisition by leveraging the abundance of unlabeled surgical video and generative world modeling, thus opening the door to generalizable and data efficient surgical robot policies.