ROOM : Un simulateur de robot continuum basé sur la physique pour la génération de jeux de données médicaux photoréalistes

ROOM: A Physics-Based Continuum Robot Simulator for Photorealistic Medical Datasets Generation

September 16, 2025

papers.authors: Salvatore Esposito, Matías Mattamala, Daniel Rebain, Francis Xiatian Zhang, Kevin Dhaliwal, Mohsen Khadem, Subramanian Ramamoorthy

cs.AI

papers.abstract

Les robots continus révolutionnent les procédures de bronchoscopie en permettant l'accès à des voies respiratoires pulmonaires complexes et en facilitant des interventions ciblées. Cependant, leur développement est limité par l'absence d'environnements réalistes pour l'entraînement et les tests : les données réelles sont difficiles à collecter en raison de contraintes éthiques et de préoccupations liées à la sécurité des patients, et le développement d'algorithmes d'autonomie nécessite des retours d'information réalistes en imagerie et en physique. Nous présentons ROOM (Realistic Optical Observation in Medicine), un cadre de simulation complet conçu pour générer des données d'entraînement photoréalistes pour la bronchoscopie. En exploitant les scanners CT de patients, notre pipeline produit des données multi-modales, incluant des images RGB avec un bruit réaliste et des reflets lumineux, des cartes de profondeur métriques, des normales de surface, des flux optiques et des nuages de points à des échelles pertinentes sur le plan médical. Nous validons les données générées par ROOM dans deux tâches canoniques pour la robotique médicale — l'estimation de pose multi-vues et l'estimation de profondeur monoculaire — mettant en évidence les défis variés que les méthodes de pointe doivent surmonter pour s'adapter à ces contextes médicaux. De plus, nous montrons que les données produites par ROOM peuvent être utilisées pour affiner des modèles existants d'estimation de profondeur afin de surmonter ces défis, tout en permettant d'autres applications en aval telles que la navigation. Nous anticipons que ROOM permettra une génération de données à grande échelle pour des anatomies de patients et des scénarios procéduraux variés, difficiles à capturer en milieu clinique. Code et données : https://github.com/iamsalvatore/room.

English

Continuum robots are advancing bronchoscopy procedures by accessing complex lung airways and enabling targeted interventions. However, their development is limited by the lack of realistic training and test environments: Real data is difficult to collect due to ethical constraints and patient safety concerns, and developing autonomy algorithms requires realistic imaging and physical feedback. We present ROOM (Realistic Optical Observation in Medicine), a comprehensive simulation framework designed for generating photorealistic bronchoscopy training data. By leveraging patient CT scans, our pipeline renders multi-modal sensor data including RGB images with realistic noise and light specularities, metric depth maps, surface normals, optical flow and point clouds at medically relevant scales. We validate the data generated by ROOM in two canonical tasks for medical robotics -- multi-view pose estimation and monocular depth estimation, demonstrating diverse challenges that state-of-the-art methods must overcome to transfer to these medical settings. Furthermore, we show that the data produced by ROOM can be used to fine-tune existing depth estimation models to overcome these challenges, also enabling other downstream applications such as navigation. We expect that ROOM will enable large-scale data generation across diverse patient anatomies and procedural scenarios that are challenging to capture in clinical settings. Code and data: https://github.com/iamsalvatore/room.