SurgWorld: Erlernen von Richtlinien für chirurgische Roboter aus Videos mittels Weltmodellierung

SurgWorld: Learning Surgical Robot Policies from Videos via World Modeling

December 29, 2025

papers.authors: Yufan He, Pengfei Guo, Mengya Xu, Zhaoshuo Li, Andriy Myronenko, Dillan Imans, Bingjie Liu, Dongren Yang, Mingxue Gu, Yongnan Ji, Yueming Jin, Ren Zhao, Baiyong Shen, Daguang Xu

cs.AI

papers.abstract

Datenknappheit bleibt eine grundlegende Barriere für die Entwicklung vollständig autonomer chirurgischer Roboter. Während groß angelegte Vision-Language-Action (VLA)-Modelle durch die Nutzung gepaarter Video-Aktions-Daten aus verschiedenen Domänen beeindruckende Generalisierungsfähigkeiten in der Haushalts- und Industriemanipulation gezeigt haben, leidet die chirurgische Robotik unter dem Mangel an Datensätzen, die sowohl visuelle Beobachtungen als auch präzise Roboterkinematik umfassen. Im Gegensatz dazu existieren umfangreiche Korpora chirurgischer Videos, denen jedoch entsprechende Aktionslabels fehlen, was eine direkte Anwendung von Imitationslernen oder VLA-Training verhindert. In dieser Arbeit zielen wir darauf ab, dieses Problem zu mildern, indem wir Politikmodelle aus SurgWorld lernen, einem Weltmodell, das für chirurgische physische KI entwickelt wurde. Wir haben den Surgical Action Text Alignment (SATA)-Datensatz mit detaillierten Aktionsbeschreibungen speziell für chirurgische Roboter kuratiert. Anschließend bauten wir SurgeWorld auf Basis des fortschrittlichsten physischen KI-Weltmodells und SATA auf. Es ist in der Lage, diverse, generalisierbare und realistische Chirurgievideos zu generieren. Wir sind zudem die Ersten, die ein inverses Dynamikmodell verwenden, um Pseudokinematik aus synthetischen chirurgischen Videos abzuleiten und so synthetische gepaarte Video-Aktions-Daten zu erzeugen. Wir zeigen, dass eine mit diesen augmentierten Daten trainierte chirurgische VLA-Politik auf einer echten chirurgischen Roboterplattform Modelle, die nur mit realen Demonstrationen trainiert wurden, signifikant übertrifft. Unser Ansatz eröffnet einen skalierbaren Weg zum autonomen Erwerb chirurgischer Fähigkeiten, indem er die Fülle ungelabelter chirurgischer Videos und generative Weltmodellierung nutzt, und öffnet somit die Tür zu generalisierbaren und dateneffizienten chirurgischen Robotik-Policies.

English

Data scarcity remains a fundamental barrier to achieving fully autonomous surgical robots. While large scale vision language action (VLA) models have shown impressive generalization in household and industrial manipulation by leveraging paired video action data from diverse domains, surgical robotics suffers from the paucity of datasets that include both visual observations and accurate robot kinematics. In contrast, vast corpora of surgical videos exist, but they lack corresponding action labels, preventing direct application of imitation learning or VLA training. In this work, we aim to alleviate this problem by learning policy models from SurgWorld, a world model designed for surgical physical AI. We curated the Surgical Action Text Alignment (SATA) dataset with detailed action description specifically for surgical robots. Then we built SurgeWorld based on the most advanced physical AI world model and SATA. It's able to generate diverse, generalizable and realistic surgery videos. We are also the first to use an inverse dynamics model to infer pseudokinematics from synthetic surgical videos, producing synthetic paired video action data. We demonstrate that a surgical VLA policy trained with these augmented data significantly outperforms models trained only on real demonstrations on a real surgical robot platform. Our approach offers a scalable path toward autonomous surgical skill acquisition by leveraging the abundance of unlabeled surgical video and generative world modeling, thus opening the door to generalizable and data efficient surgical robot policies.