ROOM: Un simulador de robots continuos basado en física para la generación de conjuntos de datos médicos fotorrealistas

ROOM: A Physics-Based Continuum Robot Simulator for Photorealistic Medical Datasets Generation

September 16, 2025

Autores: Salvatore Esposito, Matías Mattamala, Daniel Rebain, Francis Xiatian Zhang, Kevin Dhaliwal, Mohsen Khadem, Subramanian Ramamoorthy

cs.AI

Resumen

Los robots de continuo están avanzando en los procedimientos de broncoscopia al acceder a vías respiratorias pulmonares complejas y permitir intervenciones dirigidas. Sin embargo, su desarrollo se ve limitado por la falta de entornos realistas para entrenamiento y pruebas: los datos reales son difíciles de obtener debido a restricciones éticas y preocupaciones sobre la seguridad del paciente, y el desarrollo de algoritmos de autonomía requiere imágenes realistas y retroalimentación física. Presentamos ROOM (Realistic Optical Observation in Medicine), un marco de simulación integral diseñado para generar datos de entrenamiento fotorealistas para broncoscopia. Al aprovechar tomografías computarizadas (TC) de pacientes, nuestra canalización genera datos de sensores multimodales, incluyendo imágenes RGB con ruido realista y especularidades de luz, mapas de profundidad métrica, normales de superficie, flujo óptico y nubes de puntos a escalas médicamente relevantes. Validamos los datos generados por ROOM en dos tareas canónicas para robótica médica: estimación de pose multivista y estimación de profundidad monocular, demostrando diversos desafíos que los métodos de vanguardia deben superar para transferirse a estos entornos médicos. Además, mostramos que los datos producidos por ROOM pueden usarse para ajustar modelos existentes de estimación de profundidad y superar estos desafíos, permitiendo también otras aplicaciones posteriores, como la navegación. Esperamos que ROOM permita la generación de datos a gran escala en diversas anatomías de pacientes y escenarios procedimentales que son difíciles de capturar en entornos clínicos. Código y datos: https://github.com/iamsalvatore/room.

English

Continuum robots are advancing bronchoscopy procedures by accessing complex lung airways and enabling targeted interventions. However, their development is limited by the lack of realistic training and test environments: Real data is difficult to collect due to ethical constraints and patient safety concerns, and developing autonomy algorithms requires realistic imaging and physical feedback. We present ROOM (Realistic Optical Observation in Medicine), a comprehensive simulation framework designed for generating photorealistic bronchoscopy training data. By leveraging patient CT scans, our pipeline renders multi-modal sensor data including RGB images with realistic noise and light specularities, metric depth maps, surface normals, optical flow and point clouds at medically relevant scales. We validate the data generated by ROOM in two canonical tasks for medical robotics -- multi-view pose estimation and monocular depth estimation, demonstrating diverse challenges that state-of-the-art methods must overcome to transfer to these medical settings. Furthermore, we show that the data produced by ROOM can be used to fine-tune existing depth estimation models to overcome these challenges, also enabling other downstream applications such as navigation. We expect that ROOM will enable large-scale data generation across diverse patient anatomies and procedural scenarios that are challenging to capture in clinical settings. Code and data: https://github.com/iamsalvatore/room.