ROOM: Физически обоснованный симулятор континуумных роботов для генерации фотореалистичных медицинских наборов данных

ROOM: A Physics-Based Continuum Robot Simulator for Photorealistic Medical Datasets Generation

September 16, 2025

Авторы: Salvatore Esposito, Matías Mattamala, Daniel Rebain, Francis Xiatian Zhang, Kevin Dhaliwal, Mohsen Khadem, Subramanian Ramamoorthy

cs.AI

Аннотация

Континуумные роботы продвигают процедуры бронхоскопии, обеспечивая доступ к сложным участкам дыхательных путей и позволяя проводить целевые вмешательства. Однако их развитие ограничено отсутствием реалистичных сред для обучения и тестирования: сбор реальных данных затруднен из-за этических ограничений и соображений безопасности пациентов, а разработка алгоритмов автономии требует реалистичной визуализации и физической обратной связи. Мы представляем ROOM (Realistic Optical Observation in Medicine) — комплексную симуляционную платформу, предназначенную для генерации фотореалистичных данных для обучения бронхоскопии. Используя КТ-сканы пациентов, наш конвейер создает мультимодальные сенсорные данные, включая RGB-изображения с реалистичным шумом и световыми бликами, метрические карты глубины, нормали поверхности, оптический поток и облака точек в масштабах, релевантных для медицины. Мы проверяем данные, сгенерированные ROOM, на двух классических задачах для медицинской робототехники — оценке позы по нескольким видам и монохроматической оценке глубины, демонстрируя разнообразные вызовы, которые передовые методы должны преодолеть для применения в медицинских условиях. Кроме того, мы показываем, что данные, созданные ROOM, можно использовать для тонкой настройки существующих моделей оценки глубины, чтобы справиться с этими вызовами, а также для других приложений, таких как навигация. Мы ожидаем, что ROOM позволит генерировать данные в больших масштабах для различных анатомий пациентов и сценариев процедур, которые сложно зафиксировать в клинических условиях. Код и данные: https://github.com/iamsalvatore/room.

English

Continuum robots are advancing bronchoscopy procedures by accessing complex lung airways and enabling targeted interventions. However, their development is limited by the lack of realistic training and test environments: Real data is difficult to collect due to ethical constraints and patient safety concerns, and developing autonomy algorithms requires realistic imaging and physical feedback. We present ROOM (Realistic Optical Observation in Medicine), a comprehensive simulation framework designed for generating photorealistic bronchoscopy training data. By leveraging patient CT scans, our pipeline renders multi-modal sensor data including RGB images with realistic noise and light specularities, metric depth maps, surface normals, optical flow and point clouds at medically relevant scales. We validate the data generated by ROOM in two canonical tasks for medical robotics -- multi-view pose estimation and monocular depth estimation, demonstrating diverse challenges that state-of-the-art methods must overcome to transfer to these medical settings. Furthermore, we show that the data produced by ROOM can be used to fine-tune existing depth estimation models to overcome these challenges, also enabling other downstream applications such as navigation. We expect that ROOM will enable large-scale data generation across diverse patient anatomies and procedural scenarios that are challenging to capture in clinical settings. Code and data: https://github.com/iamsalvatore/room.