PlatoNeRF: Ricostruzione 3D nella Caverna di Platone tramite Lidar a Singola Vista con Doppio Rimbalzo

PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce Lidar

December 21, 2023

Autori: Tzofi Klinghoffer, Xiaoyu Xiang, Siddharth Somasundaram, Yuchen Fan, Christian Richardt, Ramesh Raskar, Rakesh Ranjan

cs.AI

Abstract

La ricostruzione 3D da una singola vista è impegnativa a causa dell'ambiguità derivante dai segnali monoculari e della mancanza di informazioni sulle regioni occluse. I campi di radianza neurale (NeRF), sebbene popolari per la sintesi di viste e la ricostruzione 3D, si basano tipicamente su immagini multi-vista. I metodi esistenti per la ricostruzione 3D da singola vista con NeRF si affidano a priori di dati per immaginare viste delle regioni occluse, che potrebbero non essere fisicamente accurate, o alle ombre osservate dalle telecamere RGB, che sono difficili da rilevare in condizioni di luce ambientale e su sfondi a bassa albedo. Proponiamo di utilizzare dati di tempo di volo catturati da un diodo a valanga a singolo fotone per superare queste limitazioni. Il nostro metodo modella percorsi ottici a due rimbalzi con NeRF, utilizzando dati transitori lidar per la supervisione. Sfruttando i vantaggi sia di NeRF che della luce a due rimbalzi misurata dal lidar, dimostriamo di poter ricostruire la geometria visibile e occlusa senza ricorrere a priori di dati o alla dipendenza da condizioni controllate di illuminazione ambientale o albedo della scena. Inoltre, dimostriamo un miglioramento nella generalizzazione sotto vincoli pratici sulla risoluzione spaziale e temporale del sensore. Riteniamo che il nostro metodo rappresenti una direzione promettente man mano che i lidar a singolo fotone diventano ubiqui sui dispositivi consumer, come telefoni, tablet e visori.

English

3D reconstruction from a single-view is challenging because of the ambiguity from monocular cues and lack of information about occluded regions. Neural radiance fields (NeRF), while popular for view synthesis and 3D reconstruction, are typically reliant on multi-view images. Existing methods for single-view 3D reconstruction with NeRF rely on either data priors to hallucinate views of occluded regions, which may not be physically accurate, or shadows observed by RGB cameras, which are difficult to detect in ambient light and low albedo backgrounds. We propose using time-of-flight data captured by a single-photon avalanche diode to overcome these limitations. Our method models two-bounce optical paths with NeRF, using lidar transient data for supervision. By leveraging the advantages of both NeRF and two-bounce light measured by lidar, we demonstrate that we can reconstruct visible and occluded geometry without data priors or reliance on controlled ambient lighting or scene albedo. In addition, we demonstrate improved generalization under practical constraints on sensor spatial- and temporal-resolution. We believe our method is a promising direction as single-photon lidars become ubiquitous on consumer devices, such as phones, tablets, and headsets.