PlatoNeRF: 3D-Rekonstruktion in Platons Höhle mittels Einzelbild-Zwei-Reflexions-Lidar

PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce Lidar

December 21, 2023

Autoren: Tzofi Klinghoffer, Xiaoyu Xiang, Siddharth Somasundaram, Yuchen Fan, Christian Richardt, Ramesh Raskar, Rakesh Ranjan

cs.AI

Zusammenfassung

Die 3D-Rekonstruktion aus einer Einzelansicht ist aufgrund der Mehrdeutigkeit monokularer Hinweise und des Mangels an Informationen über verdeckte Bereiche eine Herausforderung. Neuronale Strahlungsfelder (NeRF), obwohl beliebt für die Ansichtsynthese und 3D-Rekonstruktion, sind typischerweise auf Mehrbildansichten angewiesen. Bestehende Methoden für die Einzelansicht-3D-Rekonstruktion mit NeRF stützen sich entweder auf Datenpriors, um Ansichten verdeckter Bereiche zu erzeugen, die physikalisch nicht korrekt sein können, oder auf Schatten, die von RGB-Kameras beobachtet werden, die jedoch in Umgebungslicht und bei niedrigen Albedo-Hintergründen schwer zu erkennen sind. Wir schlagen vor, Time-of-Flight-Daten, die von einer Einzelphotonen-Avalanche-Diode erfasst werden, zu nutzen, um diese Einschränkungen zu überwinden. Unsere Methode modelliert Zwei-Rückprall-Lichtpfade mit NeRF und verwendet Lidar-Transientdaten zur Überwachung. Indem wir die Vorteile von NeRF und dem von Lidar gemessenen Zwei-Rückprall-Licht nutzen, zeigen wir, dass wir sichtbare und verdeckte Geometrie ohne Datenpriors oder Abhängigkeit von kontrolliertem Umgebungslicht oder Szenenalbedo rekonstruieren können. Darüber hinaus demonstrieren wir eine verbesserte Generalisierung unter praktischen Einschränkungen der räumlichen und zeitlichen Auflösung des Sensors. Wir glauben, dass unsere Methode eine vielversprechende Richtung ist, da Einzelphotonen-Lidars auf Verbrauchergeräten wie Telefonen, Tablets und Headsets immer häufiger werden.

English

3D reconstruction from a single-view is challenging because of the ambiguity from monocular cues and lack of information about occluded regions. Neural radiance fields (NeRF), while popular for view synthesis and 3D reconstruction, are typically reliant on multi-view images. Existing methods for single-view 3D reconstruction with NeRF rely on either data priors to hallucinate views of occluded regions, which may not be physically accurate, or shadows observed by RGB cameras, which are difficult to detect in ambient light and low albedo backgrounds. We propose using time-of-flight data captured by a single-photon avalanche diode to overcome these limitations. Our method models two-bounce optical paths with NeRF, using lidar transient data for supervision. By leveraging the advantages of both NeRF and two-bounce light measured by lidar, we demonstrate that we can reconstruct visible and occluded geometry without data priors or reliance on controlled ambient lighting or scene albedo. In addition, we demonstrate improved generalization under practical constraints on sensor spatial- and temporal-resolution. We believe our method is a promising direction as single-photon lidars become ubiquitous on consumer devices, such as phones, tablets, and headsets.