ROOM: Een op fysica gebaseerde simulator voor continuümrobots voor het genereren van fotorealistische medische datasets

ROOM: A Physics-Based Continuum Robot Simulator for Photorealistic Medical Datasets Generation

September 16, 2025

Auteurs: Salvatore Esposito, Matías Mattamala, Daniel Rebain, Francis Xiatian Zhang, Kevin Dhaliwal, Mohsen Khadem, Subramanian Ramamoorthy

cs.AI

Samenvatting

Continuümrobots verbeteren bronchoscopieprocedures door toegang te bieden tot complexe longluchtwegen en gerichte interventies mogelijk te maken. Hun ontwikkeling wordt echter beperkt door het gebrek aan realistische trainings- en testomgevingen: het verzamelen van echte data is moeilijk vanwege ethische beperkingen en zorgen over patiëntveiligheid, en het ontwikkelen van autonomie-algoritmen vereist realistische beeldvorming en fysieke feedback. Wij presenteren ROOM (Realistic Optical Observation in Medicine), een uitgebreid simulatiekader ontworpen voor het genereren van fotorealistische trainingsdata voor bronchoscopie. Door gebruik te maken van patiënt-CT-scans, produceert onze pipeline multi-modale sensordata, waaronder RGB-beelden met realistische ruis en lichtreflecties, metrische dieptekaarten, oppervlaktenormalen, optische stroming en puntenwolken op medisch relevante schalen. We valideren de door ROOM gegenereerde data in twee standaardtaken voor medische robotica – multi-view pose-estimatie en monoculaire diepte-estimatie – en tonen diverse uitdagingen aan die state-of-the-art methoden moeten overwinnen om naar deze medische settings over te dragen. Bovendien laten we zien dat de door ROOM geproduceerde data gebruikt kan worden om bestaande diepte-estimatiemodellen te fine-tunen om deze uitdagingen te overwinnen, wat ook andere downstream-toepassingen zoals navigatie mogelijk maakt. We verwachten dat ROOM grootschalige datageneratie mogelijk maakt over diverse patiëntanatomieën en procedurele scenario's die moeilijk vast te leggen zijn in klinische settings. Code en data: https://github.com/iamsalvatore/room.

English

Continuum robots are advancing bronchoscopy procedures by accessing complex lung airways and enabling targeted interventions. However, their development is limited by the lack of realistic training and test environments: Real data is difficult to collect due to ethical constraints and patient safety concerns, and developing autonomy algorithms requires realistic imaging and physical feedback. We present ROOM (Realistic Optical Observation in Medicine), a comprehensive simulation framework designed for generating photorealistic bronchoscopy training data. By leveraging patient CT scans, our pipeline renders multi-modal sensor data including RGB images with realistic noise and light specularities, metric depth maps, surface normals, optical flow and point clouds at medically relevant scales. We validate the data generated by ROOM in two canonical tasks for medical robotics -- multi-view pose estimation and monocular depth estimation, demonstrating diverse challenges that state-of-the-art methods must overcome to transfer to these medical settings. Furthermore, we show that the data produced by ROOM can be used to fine-tune existing depth estimation models to overcome these challenges, also enabling other downstream applications such as navigation. We expect that ROOM will enable large-scale data generation across diverse patient anatomies and procedural scenarios that are challenging to capture in clinical settings. Code and data: https://github.com/iamsalvatore/room.