PlatoNeRF: 3D-reconstructie in Plato's grot via enkelvoudige weergave met dubbele reflectie van Lidar

PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce Lidar

December 21, 2023

Auteurs: Tzofi Klinghoffer, Xiaoyu Xiang, Siddharth Somasundaram, Yuchen Fan, Christian Richardt, Ramesh Raskar, Rakesh Ranjan

cs.AI

Samenvatting

3D-reconstructie vanuit een enkel gezichtspunt is uitdagend vanwege de ambiguïteit van monoculaire aanwijzingen en het gebrek aan informatie over verborgen gebieden. Neural radiance fields (NeRF), hoewel populair voor viewsynthese en 3D-reconstructie, zijn doorgaans afhankelijk van multi-view beelden. Bestaande methoden voor single-view 3D- reconstructie met NeRF vertrouwen op ofwel datapriors om zichten van verborgen gebieden te hallucineren, wat mogelijk niet fysiek accuraat is, ofwel schaduwen waargenomen door RGB-camera's, die moeilijk te detecteren zijn in omgevingslicht en achtergronden met lage albedo. Wij stellen voor om time-of-flight data, vastgelegd door een single-photon avalanche diode, te gebruiken om deze beperkingen te overwinnen. Onze methode modelleert tweewegs optische paden met NeRF, waarbij lidar-transiënte data wordt gebruikt voor supervisie. Door de voordelen van zowel NeRF als tweewegs licht gemeten door lidar te benutten, laten we zien dat we zichtbare en verborgen geometrie kunnen reconstrueren zonder datapriors of afhankelijkheid van gecontroleerd omgevingslicht of scène-albedo. Daarnaast demonstreren we verbeterde generalisatie onder praktische beperkingen op sensorische ruimtelijke en temporele resolutie. Wij geloven dat onze methode een veelbelovende richting is naarmate single-photon lidars alomtegenwoordig worden op consumentenapparaten, zoals telefoons, tablets en headsets.

English

3D reconstruction from a single-view is challenging because of the ambiguity from monocular cues and lack of information about occluded regions. Neural radiance fields (NeRF), while popular for view synthesis and 3D reconstruction, are typically reliant on multi-view images. Existing methods for single-view 3D reconstruction with NeRF rely on either data priors to hallucinate views of occluded regions, which may not be physically accurate, or shadows observed by RGB cameras, which are difficult to detect in ambient light and low albedo backgrounds. We propose using time-of-flight data captured by a single-photon avalanche diode to overcome these limitations. Our method models two-bounce optical paths with NeRF, using lidar transient data for supervision. By leveraging the advantages of both NeRF and two-bounce light measured by lidar, we demonstrate that we can reconstruct visible and occluded geometry without data priors or reliance on controlled ambient lighting or scene albedo. In addition, we demonstrate improved generalization under practical constraints on sensor spatial- and temporal-resolution. We believe our method is a promising direction as single-photon lidars become ubiquitous on consumer devices, such as phones, tablets, and headsets.