ROOM: 포토리얼리틱 의료 데이터셋 생성을 위한 물리 기반 연속체 로봇 시뮬레이터

초록

연속체 로봇은 복잡한 폐 기도를 접근하고 표적 치료를 가능하게 함으로써 기관지 내시경 시술을 발전시키고 있습니다. 그러나 이러한 로봇의 개발은 현실적인 훈련 및 테스트 환경의 부족으로 제한되고 있습니다: 윤리적 제약과 환자 안전 문제로 인해 실제 데이터를 수집하기 어렵고, 자율성 알고리즘 개발에는 현실적인 영상 및 물리적 피드백이 필요합니다. 우리는 ROOM(Realistic Optical Observation in Medicine)이라는 포토리얼리스틱 기관지 내시경 훈련 데이터를 생성하기 위한 포괄적인 시뮬레이션 프레임워크를 제시합니다. 환자 CT 스캔을 활용하여, 우리의 파이프라인은 현실적인 노이즈와 광택을 포함한 RGB 이미지, 메트릭 깊이 맵, 표면 법선, 광학 흐름 및 포인트 클라우드를 의학적으로 관련된 스케일로 렌더링합니다. 우리는 ROOM에서 생성된 데이터를 의료 로봇 공학의 두 가지 주요 작업인 다중 시점 포즈 추정과 단안 깊이 추정에서 검증하며, 최신 방법들이 이러한 의료 환경에 적용되기 위해 극복해야 할 다양한 도전 과제를 보여줍니다. 또한, ROOM에서 생성된 데이터를 사용하여 기존의 깊이 추정 모델을 미세 조정하여 이러한 도전 과제를 극복할 수 있으며, 내비게이션과 같은 다른 다운스트림 애플리케이션도 가능하게 함을 보여줍니다. 우리는 ROOM이 임상 환경에서 포착하기 어려운 다양한 환자 해부학 및 시나리오에 걸쳐 대규모 데이터 생성을 가능하게 할 것으로 기대합니다. 코드와 데이터: https://github.com/iamsalvatore/room.

English

Continuum robots are advancing bronchoscopy procedures by accessing complex lung airways and enabling targeted interventions. However, their development is limited by the lack of realistic training and test environments: Real data is difficult to collect due to ethical constraints and patient safety concerns, and developing autonomy algorithms requires realistic imaging and physical feedback. We present ROOM (Realistic Optical Observation in Medicine), a comprehensive simulation framework designed for generating photorealistic bronchoscopy training data. By leveraging patient CT scans, our pipeline renders multi-modal sensor data including RGB images with realistic noise and light specularities, metric depth maps, surface normals, optical flow and point clouds at medically relevant scales. We validate the data generated by ROOM in two canonical tasks for medical robotics -- multi-view pose estimation and monocular depth estimation, demonstrating diverse challenges that state-of-the-art methods must overcome to transfer to these medical settings. Furthermore, we show that the data produced by ROOM can be used to fine-tune existing depth estimation models to overcome these challenges, also enabling other downstream applications such as navigation. We expect that ROOM will enable large-scale data generation across diverse patient anatomies and procedural scenarios that are challenging to capture in clinical settings. Code and data: https://github.com/iamsalvatore/room.

ROOM: 포토리얼리틱 의료 데이터셋 생성을 위한 물리 기반 연속체 로봇 시뮬레이터

ROOM: A Physics-Based Continuum Robot Simulator for Photorealistic Medical Datasets Generation

초록

Support