SurgWorld: Aprendizaje de Políticas para Robots Quirúrgicos a partir de Vídeos mediante Modelado del Mundo
SurgWorld: Learning Surgical Robot Policies from Videos via World Modeling
December 29, 2025
Autores: Yufan He, Pengfei Guo, Mengya Xu, Zhaoshuo Li, Andriy Myronenko, Dillan Imans, Bingjie Liu, Dongren Yang, Mingxue Gu, Yongnan Ji, Yueming Jin, Ren Zhao, Baiyong Shen, Daguang Xu
cs.AI
Resumen
La escaseza de datos sigue siendo una barrera fundamental para lograr robots quirúrgicos completamente autónomos. Si bien los modelos de visión, lenguaje y acción (VLA) a gran escala han demostrado una impresionante capacidad de generalización en la manipulación doméstica e industrial al aprovechar datos de acciones en video pareados de diversos dominios, la robótica quirúrgica sufre de la escasez de conjuntos de datos que incluyan tanto observaciones visuales como cinemáticas robóticas precisas. Por el contrario, existen vastos corpus de videos quirúrgicos, pero carecen de las etiquetas de acción correspondientes, lo que impide la aplicación directa del aprendizaje por imitación o del entrenamiento VLA. En este trabajo, nuestro objetivo es aliviar este problema aprendiendo modelos de políticas a partir de SurgWorld, un modelo mundial diseñado para la IA física quirúrgica. Curramos el conjunto de datos SATA (Alineación de Texto de Acción Quirúrgica) con descripciones de acción detalladas específicamente para robots quirúrgicos. Luego, construimos SurgWorld basándonos en el modelo mundial de IA física más avanzado y en SATA. Este es capaz de generar videos quirúrgicos diversos, generalizables y realistas. También somos los primeros en utilizar un modelo de dinámica inversa para inferir pseudocinemáticas a partir de videos quirúrgicos sintéticos, produciendo datos sintéticos de acciones en video pareados. Demostramos que una política VLA quirúrgica entrenada con estos datos aumentados supera significativamente a los modelos entrenados únicamente con demostraciones reales en una plataforma robótica quirúrgica real. Nuestro enfoque ofrece un camino escalable hacia la adquisición autónoma de habilidades quirúrgicas al aprovechar la abundancia de video quirúrgico sin etiquetar y el modelado mundial generativo, abriendo así la puerta a políticas de robots quirúrgicos generalizables y eficientes en datos.
English
Data scarcity remains a fundamental barrier to achieving fully autonomous surgical robots. While large scale vision language action (VLA) models have shown impressive generalization in household and industrial manipulation by leveraging paired video action data from diverse domains, surgical robotics suffers from the paucity of datasets that include both visual observations and accurate robot kinematics. In contrast, vast corpora of surgical videos exist, but they lack corresponding action labels, preventing direct application of imitation learning or VLA training. In this work, we aim to alleviate this problem by learning policy models from SurgWorld, a world model designed for surgical physical AI. We curated the Surgical Action Text Alignment (SATA) dataset with detailed action description specifically for surgical robots. Then we built SurgeWorld based on the most advanced physical AI world model and SATA. It's able to generate diverse, generalizable and realistic surgery videos. We are also the first to use an inverse dynamics model to infer pseudokinematics from synthetic surgical videos, producing synthetic paired video action data. We demonstrate that a surgical VLA policy trained with these augmented data significantly outperforms models trained only on real demonstrations on a real surgical robot platform. Our approach offers a scalable path toward autonomous surgical skill acquisition by leveraging the abundance of unlabeled surgical video and generative world modeling, thus opening the door to generalizable and data efficient surgical robot policies.