SurgWorld: 世界モデリングによる手術ロボット政策のビデオ学習

要旨

完全自律的な手術ロボットの実現において、データ不足は依然として根本的な障壁となっている。大規模な視覚言語行動（VLA）モデルは、様々な領域から取得した映像と行動のペアデータを活用することで、家庭や産業分野におけるマニピュレーションで優れた汎化性能を示している。しかし、手術ロボティクスでは、視覚観測データと正確なロボット運動学データの両方を包含するデータセットが極めて乏しい。一方で、手術映像の大規模コーパスは存在するものの、対応する行動ラベルが欠如しているため、模倣学習やVLAトレーニングの直接的な適用が阻まれている。本研究では、手術物理AI向けに設計された世界モデルであるSurgWorldから政策モデルを学習することで、この問題の緩和を目指す。我々は、手術ロボットに特化した詳細な行動記述を含むSurgical Action Text Alignment（SATA）データセットを構築した。さらに、最先端の物理AI世界モデルとSATAに基づいてSurgeWorldを構築した。これは、多様性に富み、汎化性が高く、現実的な手術映像を生成可能である。また、合成手術映像から逆動力学モデルを用いて擬似運動学データを推定し、合成された映像と行動のペアデータを生成する手法を初めて提案する。これらの拡張データで学習した手術VLA政策が、実機の手術ロボットプラットフォームにおいて、実演データのみで学習したモデルを大幅に上回る性能を示すことを実証する。本アプローチは、ラベルなし手術映像の豊富さと生成的な世界モデリングを活用することで、自律的な手術技能獲得へのスケーラブルな道筋を提供し、汎化性が高くデータ効率の良い手術ロボット政策への扉を開くものである。

English

Data scarcity remains a fundamental barrier to achieving fully autonomous surgical robots. While large scale vision language action (VLA) models have shown impressive generalization in household and industrial manipulation by leveraging paired video action data from diverse domains, surgical robotics suffers from the paucity of datasets that include both visual observations and accurate robot kinematics. In contrast, vast corpora of surgical videos exist, but they lack corresponding action labels, preventing direct application of imitation learning or VLA training. In this work, we aim to alleviate this problem by learning policy models from SurgWorld, a world model designed for surgical physical AI. We curated the Surgical Action Text Alignment (SATA) dataset with detailed action description specifically for surgical robots. Then we built SurgeWorld based on the most advanced physical AI world model and SATA. It's able to generate diverse, generalizable and realistic surgery videos. We are also the first to use an inverse dynamics model to infer pseudokinematics from synthetic surgical videos, producing synthetic paired video action data. We demonstrate that a surgical VLA policy trained with these augmented data significantly outperforms models trained only on real demonstrations on a real surgical robot platform. Our approach offers a scalable path toward autonomous surgical skill acquisition by leveraging the abundance of unlabeled surgical video and generative world modeling, thus opening the door to generalizable and data efficient surgical robot policies.

SurgWorld: 世界モデリングによる手術ロボット政策のビデオ学習

SurgWorld: Learning Surgical Robot Policies from Videos via World Modeling

要旨

Support