PlatoNeRF: 단일 뷰 이중 반사 라이다를 통한 플라톤의 동굴 내 3D 재구성

PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce Lidar

December 21, 2023

저자: Tzofi Klinghoffer, Xiaoyu Xiang, Siddharth Somasundaram, Yuchen Fan, Christian Richardt, Ramesh Raskar, Rakesh Ranjan

cs.AI

초록

단일 뷰에서의 3D 재구성은 단안 시각 단서로 인한 모호성과 가려진 영역에 대한 정보 부족으로 인해 어려운 과제입니다. 뷰 합성과 3D 재구성을 위해 널리 사용되는 신경 방사 필드(NeRF)는 일반적으로 다중 뷰 이미지에 의존합니다. NeRF를 사용한 단일 뷰 3D 재구성을 위한 기존 방법들은 가려진 영역의 뷰를 상상하기 위해 데이터 사전 정보에 의존하거나, RGB 카메라로 관찰된 그림자를 활용하는데, 이는 주변 조명과 낮은 알베도 배경에서는 감지하기 어렵습니다. 우리는 이러한 한계를 극복하기 위해 단일 광자 계수 다이오드(SPAD)로 캡처된 시간 비행(ToF) 데이터를 사용할 것을 제안합니다. 우리의 방법은 NeRF를 사용하여 두 번 반사된 광학 경로를 모델링하고, 라이다의 과도 데이터를 지도 신호로 활용합니다. NeRF와 라이다로 측정된 두 번 반사된 빛의 장점을 결합함으로써, 데이터 사전 정보나 통제된 주변 조명, 장면 알베도에 의존하지 않고도 가시 및 가려진 기하학을 재구성할 수 있음을 보여줍니다. 또한, 센서의 공간 및 시간 해상도에 대한 실제적 제약 하에서도 개선된 일반화 성능을 입증합니다. 우리는 단일 광자 라이다가 휴대폰, 태블릿, 헤드셋과 같은 소비자 기기에 보편화됨에 따라 우리의 방법이 유망한 방향이라고 믿습니다.

English

3D reconstruction from a single-view is challenging because of the ambiguity from monocular cues and lack of information about occluded regions. Neural radiance fields (NeRF), while popular for view synthesis and 3D reconstruction, are typically reliant on multi-view images. Existing methods for single-view 3D reconstruction with NeRF rely on either data priors to hallucinate views of occluded regions, which may not be physically accurate, or shadows observed by RGB cameras, which are difficult to detect in ambient light and low albedo backgrounds. We propose using time-of-flight data captured by a single-photon avalanche diode to overcome these limitations. Our method models two-bounce optical paths with NeRF, using lidar transient data for supervision. By leveraging the advantages of both NeRF and two-bounce light measured by lidar, we demonstrate that we can reconstruct visible and occluded geometry without data priors or reliance on controlled ambient lighting or scene albedo. In addition, we demonstrate improved generalization under practical constraints on sensor spatial- and temporal-resolution. We believe our method is a promising direction as single-photon lidars become ubiquitous on consumer devices, such as phones, tablets, and headsets.