ROOM: Um Simulador de Robôs de Continuum Baseado em Física para Geração de Conjuntos de Dados Médicos Foto-realistas

ROOM: A Physics-Based Continuum Robot Simulator for Photorealistic Medical Datasets Generation

September 16, 2025

Autores: Salvatore Esposito, Matías Mattamala, Daniel Rebain, Francis Xiatian Zhang, Kevin Dhaliwal, Mohsen Khadem, Subramanian Ramamoorthy

cs.AI

Resumo

Os robôs de continuum estão avançando os procedimentos de broncoscopia ao acessar vias aéreas pulmonares complexas e permitir intervenções direcionadas. No entanto, seu desenvolvimento é limitado pela falta de ambientes realistas de treinamento e teste: dados reais são difíceis de coletar devido a restrições éticas e preocupações com a segurança do paciente, e o desenvolvimento de algoritmos de autonomia requer imagens realistas e feedback físico. Apresentamos o ROOM (Realistic Optical Observation in Medicine), uma estrutura de simulação abrangente projetada para gerar dados de treinamento de broncoscopia fotorealistas. Ao aproveitar tomografias computadorizadas de pacientes, nosso pipeline renderiza dados de sensores multimodais, incluindo imagens RGB com ruído realista e especularidades de luz, mapas de profundidade métrica, normais de superfície, fluxo óptico e nuvens de pontos em escalas clinicamente relevantes. Validamos os dados gerados pelo ROOM em duas tarefas canônicas para robótica médica -- estimativa de pose multiview e estimativa de profundidade monocular, demonstrando diversos desafios que os métodos state-of-the-art devem superar para serem transferidos para esses ambientes médicos. Além disso, mostramos que os dados produzidos pelo ROOM podem ser usados para ajustar modelos existentes de estimativa de profundidade para superar esses desafios, também permitindo outras aplicações subsequentes, como navegação. Esperamos que o ROOM permita a geração de dados em grande escala em diversas anatomias de pacientes e cenários procedimentais que são desafiadores de capturar em ambientes clínicos. Código e dados: https://github.com/iamsalvatore/room.

English

Continuum robots are advancing bronchoscopy procedures by accessing complex lung airways and enabling targeted interventions. However, their development is limited by the lack of realistic training and test environments: Real data is difficult to collect due to ethical constraints and patient safety concerns, and developing autonomy algorithms requires realistic imaging and physical feedback. We present ROOM (Realistic Optical Observation in Medicine), a comprehensive simulation framework designed for generating photorealistic bronchoscopy training data. By leveraging patient CT scans, our pipeline renders multi-modal sensor data including RGB images with realistic noise and light specularities, metric depth maps, surface normals, optical flow and point clouds at medically relevant scales. We validate the data generated by ROOM in two canonical tasks for medical robotics -- multi-view pose estimation and monocular depth estimation, demonstrating diverse challenges that state-of-the-art methods must overcome to transfer to these medical settings. Furthermore, we show that the data produced by ROOM can be used to fine-tune existing depth estimation models to overcome these challenges, also enabling other downstream applications such as navigation. We expect that ROOM will enable large-scale data generation across diverse patient anatomies and procedural scenarios that are challenging to capture in clinical settings. Code and data: https://github.com/iamsalvatore/room.