ROOM: Un Simulatore di Robot Continuo Basato sulla Fisica per la Generazione di Dataset Medici Fotorealistici

ROOM: A Physics-Based Continuum Robot Simulator for Photorealistic Medical Datasets Generation

September 16, 2025

Autori: Salvatore Esposito, Matías Mattamala, Daniel Rebain, Francis Xiatian Zhang, Kevin Dhaliwal, Mohsen Khadem, Subramanian Ramamoorthy

cs.AI

Abstract

I robot a continuum stanno rivoluzionando le procedure di broncoscopia, consentendo l'accesso a vie aeree polmonari complesse e interventi mirati. Tuttavia, il loro sviluppo è limitato dalla mancanza di ambienti realistici per l'addestramento e i test: i dati reali sono difficili da raccogliere a causa di vincoli etici e preoccupazioni per la sicurezza dei pazienti, e lo sviluppo di algoritmi di autonomia richiede feedback di imaging e fisici realistici. Presentiamo ROOM (Realistic Optical Observation in Medicine), un framework di simulazione completo progettato per generare dati di addestramento per broncoscopia fotorealistici. Utilizzando scansioni TC di pazienti, la nostra pipeline genera dati sensoriali multimodali, tra cui immagini RGB con rumore realistico e riflessi luminosi, mappe di profondità metriche, normali di superficie, flusso ottico e nuvole di punti su scale rilevanti dal punto di vista medico. Validiamo i dati generati da ROOM in due compiti canonici per la robotica medica -- la stima della posa multi-vista e la stima della profondità monoculare, dimostrando le diverse sfide che i metodi all'avanguardia devono superare per trasferirsi in questi contesti medici. Inoltre, mostriamo che i dati prodotti da ROOM possono essere utilizzati per affinare modelli esistenti di stima della profondità per superare queste sfide, abilitando anche altre applicazioni a valle come la navigazione. Ci aspettiamo che ROOM consentirà la generazione su larga scala di dati attraverso diverse anatomie dei pazienti e scenari procedurali che sono difficili da catturare in contesti clinici. Codice e dati: https://github.com/iamsalvatore/room.

English

Continuum robots are advancing bronchoscopy procedures by accessing complex lung airways and enabling targeted interventions. However, their development is limited by the lack of realistic training and test environments: Real data is difficult to collect due to ethical constraints and patient safety concerns, and developing autonomy algorithms requires realistic imaging and physical feedback. We present ROOM (Realistic Optical Observation in Medicine), a comprehensive simulation framework designed for generating photorealistic bronchoscopy training data. By leveraging patient CT scans, our pipeline renders multi-modal sensor data including RGB images with realistic noise and light specularities, metric depth maps, surface normals, optical flow and point clouds at medically relevant scales. We validate the data generated by ROOM in two canonical tasks for medical robotics -- multi-view pose estimation and monocular depth estimation, demonstrating diverse challenges that state-of-the-art methods must overcome to transfer to these medical settings. Furthermore, we show that the data produced by ROOM can be used to fine-tune existing depth estimation models to overcome these challenges, also enabling other downstream applications such as navigation. We expect that ROOM will enable large-scale data generation across diverse patient anatomies and procedural scenarios that are challenging to capture in clinical settings. Code and data: https://github.com/iamsalvatore/room.