ROOM: フォトリアルな医療データセット生成のための物理ベース連続体ロボットシミュレータ

ROOM: A Physics-Based Continuum Robot Simulator for Photorealistic Medical Datasets Generation

September 16, 2025

著者: Salvatore Esposito, Matías Mattamala, Daniel Rebain, Francis Xiatian Zhang, Kevin Dhaliwal, Mohsen Khadem, Subramanian Ramamoorthy

cs.AI

要旨

連続体ロボットは、複雑な肺気道へのアクセスと標的型介入を可能にすることで、気管支鏡検査手技を進化させています。しかし、その開発は現実的なトレーニングおよびテスト環境の不足によって制限されています。実際のデータは倫理的制約や患者の安全上の懸念から収集が困難であり、自律アルゴリズムの開発には現実的な画像と物理的フィードバックが必要です。本論文では、ROOM（Realistic Optical Observation in Medicine）を紹介します。これは、フォトリアリスティックな気管支鏡トレーニングデータを生成するための包括的なシミュレーションフレームワークです。患者のCTスキャンを活用することで、我々のパイプラインは、現実的なノイズや光の鏡面反射を含むRGB画像、メトリック深度マップ、表面法線、オプティカルフロー、および医療関連スケールでのポイントクラウドを含む多モーダルセンサーデータをレンダリングします。ROOMによって生成されたデータは、医療ロボティクスにおける2つの代表的なタスク――多視点姿勢推定と単眼深度推定――において検証され、最先端の手法がこれらの医療環境に適用するために克服すべき多様な課題を実証しています。さらに、ROOMが生成するデータを使用して既存の深度推定モデルを微調整することで、これらの課題を克服できることを示し、ナビゲーションなどの他の下流アプリケーションも可能にします。我々は、ROOMが臨床環境では捕捉が困難な多様な患者解剖学的構造と手技シナリオにわたる大規模なデータ生成を可能にすることを期待しています。コードとデータ: https://github.com/iamsalvatore/room。

English

Continuum robots are advancing bronchoscopy procedures by accessing complex lung airways and enabling targeted interventions. However, their development is limited by the lack of realistic training and test environments: Real data is difficult to collect due to ethical constraints and patient safety concerns, and developing autonomy algorithms requires realistic imaging and physical feedback. We present ROOM (Realistic Optical Observation in Medicine), a comprehensive simulation framework designed for generating photorealistic bronchoscopy training data. By leveraging patient CT scans, our pipeline renders multi-modal sensor data including RGB images with realistic noise and light specularities, metric depth maps, surface normals, optical flow and point clouds at medically relevant scales. We validate the data generated by ROOM in two canonical tasks for medical robotics -- multi-view pose estimation and monocular depth estimation, demonstrating diverse challenges that state-of-the-art methods must overcome to transfer to these medical settings. Furthermore, we show that the data produced by ROOM can be used to fine-tune existing depth estimation models to overcome these challenges, also enabling other downstream applications such as navigation. We expect that ROOM will enable large-scale data generation across diverse patient anatomies and procedural scenarios that are challenging to capture in clinical settings. Code and data: https://github.com/iamsalvatore/room.