SurgWorld : Apprentissage de Politiques pour Robots Chirurgicaux par Modélisation du Monde à partir de Vidéos

papers.abstract

La rareté des données demeure un frein fondamental à la réalisation de robots chirurgicaux entièrement autonomes. Bien que les modèles vision-langage-action (VLA) à grande échelle aient démontré une impressionnante capacité de généralisation dans la manipulation domestique et industrielle en exploitant des données vidéo-action appariées provenant de domaines variés, la robotique chirurgicale souffre du manque de jeux de données incluant à la fois des observations visuelles et une cinématique robotique précise. En revanche, il existe de vastes corpus de vidéos chirurgicales, mais ceux-ci ne disposent pas d'étiquettes d'action correspondantes, empêchant une application directe de l'apprentissage par imitation ou de l'entraînement VLA. Dans ce travail, nous visons à atténuer ce problème en apprenant des modèles de politique à partir de SurgWorld, un modèle de monde conçu pour l'intelligence artificielle physique chirurgicale. Nous avons constitué le jeu de données SATA (Surgical Action Text Alignment) avec des descriptions d'action détaillées spécifiquement pour les robots chirurgicaux. Nous avons ensuite construit SurgeWorld sur la base du modèle de monde d'IA physique le plus avancé et de SATA. Il est capable de générer des vidéos chirurgicales diversifiées, généralisables et réalistes. Nous sommes également les premiers à utiliser un modèle de dynamique inverse pour inférer une pseudocinématique à partir de vidéos chirurgicales synthétiques, produisant ainsi des données vidéo-action appariées synthétiques. Nous démontrons qu'une politique VLA chirurgicale entraînée avec ces données augmentées surpasse significativement les modèles entraînés uniquement sur des démonstrations réelles sur une plateforme robotique chirurgicale réelle. Notre approche offre une voie évolutive vers l'acquisition autonome de compétences chirurgicales en exploitant l'abondance de vidéos chirurgicales non étiquetées et la modélisation générative de monde, ouvrant ainsi la porte à des politiques de robot chirurgical généralisables et efficaces en termes de données.

English

Data scarcity remains a fundamental barrier to achieving fully autonomous surgical robots. While large scale vision language action (VLA) models have shown impressive generalization in household and industrial manipulation by leveraging paired video action data from diverse domains, surgical robotics suffers from the paucity of datasets that include both visual observations and accurate robot kinematics. In contrast, vast corpora of surgical videos exist, but they lack corresponding action labels, preventing direct application of imitation learning or VLA training. In this work, we aim to alleviate this problem by learning policy models from SurgWorld, a world model designed for surgical physical AI. We curated the Surgical Action Text Alignment (SATA) dataset with detailed action description specifically for surgical robots. Then we built SurgeWorld based on the most advanced physical AI world model and SATA. It's able to generate diverse, generalizable and realistic surgery videos. We are also the first to use an inverse dynamics model to infer pseudokinematics from synthetic surgical videos, producing synthetic paired video action data. We demonstrate that a surgical VLA policy trained with these augmented data significantly outperforms models trained only on real demonstrations on a real surgical robot platform. Our approach offers a scalable path toward autonomous surgical skill acquisition by leveraging the abundance of unlabeled surgical video and generative world modeling, thus opening the door to generalizable and data efficient surgical robot policies.

SurgWorld : Apprentissage de Politiques pour Robots Chirurgicaux par Modélisation du Monde à partir de Vidéos

SurgWorld: Learning Surgical Robot Policies from Videos via World Modeling

papers.abstract

Support