ROOM: Ein physikbasiertes Kontinuumsrobotersimulator zur Erzeugung fotorealistischer medizinischer Datensätze

ROOM: A Physics-Based Continuum Robot Simulator for Photorealistic Medical Datasets Generation

September 16, 2025

papers.authors: Salvatore Esposito, Matías Mattamala, Daniel Rebain, Francis Xiatian Zhang, Kevin Dhaliwal, Mohsen Khadem, Subramanian Ramamoorthy

cs.AI

papers.abstract

Kontinuumsroboter revolutionieren Bronchoskopieverfahren, indem sie den Zugang zu komplexen Lungenwegen ermöglichen und gezielte Eingriffe erleichtern. Ihre Entwicklung wird jedoch durch den Mangel an realistischen Trainings- und Testumgebungen eingeschränkt: Die Erfassung realer Daten ist aufgrund ethischer Einschränkungen und Patientensicherheitsbedenken schwierig, und die Entwicklung von Autonomiealgorithmen erfordert realistische Bildgebung und physikalische Rückmeldungen. Wir präsentieren ROOM (Realistic Optical Observation in Medicine), ein umfassendes Simulationsframework, das zur Erzeugung fotorealistischer Bronchoskopie-Trainingsdaten entwickelt wurde. Durch die Nutzung von Patient-CT-Scans rendert unsere Pipeline multimodale Sensordaten, einschließlich RGB-Bilder mit realistischem Rauschen und Lichtreflexen, metrischen Tiefenkarten, Oberflächennormalen, optischem Fluss und Punktwolken in medizinisch relevanten Maßstäben. Wir validieren die von ROOM erzeugten Daten in zwei zentralen Aufgaben der medizinischen Robotik – der Multi-View-Posenschätzung und der monokularen Tiefenschätzung – und zeigen dabei vielfältige Herausforderungen auf, die state-of-the-art-Methoden überwinden müssen, um in diesen medizinischen Kontexten eingesetzt zu werden. Darüber hinaus demonstrieren wir, dass die von ROOM erzeugten Daten zur Feinabstimmung bestehender Tiefenschätzungsmodelle verwendet werden können, um diese Herausforderungen zu bewältigen, und auch andere nachgelagerte Anwendungen wie die Navigation ermöglichen. Wir erwarten, dass ROOM die großflächige Datengenerierung über diverse Patientenanatomien und Verfahrensszenarien ermöglichen wird, die in klinischen Umgebungen schwer zu erfassen sind. Code und Daten: https://github.com/iamsalvatore/room.

English

Continuum robots are advancing bronchoscopy procedures by accessing complex lung airways and enabling targeted interventions. However, their development is limited by the lack of realistic training and test environments: Real data is difficult to collect due to ethical constraints and patient safety concerns, and developing autonomy algorithms requires realistic imaging and physical feedback. We present ROOM (Realistic Optical Observation in Medicine), a comprehensive simulation framework designed for generating photorealistic bronchoscopy training data. By leveraging patient CT scans, our pipeline renders multi-modal sensor data including RGB images with realistic noise and light specularities, metric depth maps, surface normals, optical flow and point clouds at medically relevant scales. We validate the data generated by ROOM in two canonical tasks for medical robotics -- multi-view pose estimation and monocular depth estimation, demonstrating diverse challenges that state-of-the-art methods must overcome to transfer to these medical settings. Furthermore, we show that the data produced by ROOM can be used to fine-tune existing depth estimation models to overcome these challenges, also enabling other downstream applications such as navigation. We expect that ROOM will enable large-scale data generation across diverse patient anatomies and procedural scenarios that are challenging to capture in clinical settings. Code and data: https://github.com/iamsalvatore/room.