PlatoNeRF: Reconstrucción 3D en la Cueva de Platón mediante Lidar de Doble Rebote con Vista Única

PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce Lidar

December 21, 2023

Autores: Tzofi Klinghoffer, Xiaoyu Xiang, Siddharth Somasundaram, Yuchen Fan, Christian Richardt, Ramesh Raskar, Rakesh Ranjan

cs.AI

Resumen

La reconstrucción 3D a partir de una sola vista es un desafío debido a la ambigüedad de las señales monoculares y la falta de información sobre las regiones ocluidas. Los campos de radiancia neural (NeRF), aunque populares para la síntesis de vistas y la reconstrucción 3D, suelen depender de imágenes multivista. Los métodos existentes para la reconstrucción 3D con NeRF a partir de una sola vista se basan en previos de datos para generar vistas de regiones ocluidas, que pueden no ser físicamente precisas, o en sombras observadas por cámaras RGB, que son difíciles de detectar en condiciones de luz ambiental y fondos con bajo albedo. Proponemos utilizar datos de tiempo de vuelo capturados por un diodo de avalancha de un solo fotón para superar estas limitaciones. Nuestro método modela trayectorias ópticas de dos rebotes con NeRF, utilizando datos transitorios de lidar para la supervisión. Al aprovechar las ventajas tanto de NeRF como de la luz de dos rebotes medida por lidar, demostramos que podemos reconstruir geometría visible y ocluida sin depender de previos de datos ni de condiciones controladas de iluminación ambiental o albedo de la escena. Además, mostramos una mejora en la generalización bajo restricciones prácticas en la resolución espacial y temporal del sensor. Creemos que nuestro método es una dirección prometedora a medida que los lidars de un solo fotón se vuelven omnipresentes en dispositivos de consumo, como teléfonos, tabletas y auriculares.

English

3D reconstruction from a single-view is challenging because of the ambiguity from monocular cues and lack of information about occluded regions. Neural radiance fields (NeRF), while popular for view synthesis and 3D reconstruction, are typically reliant on multi-view images. Existing methods for single-view 3D reconstruction with NeRF rely on either data priors to hallucinate views of occluded regions, which may not be physically accurate, or shadows observed by RGB cameras, which are difficult to detect in ambient light and low albedo backgrounds. We propose using time-of-flight data captured by a single-photon avalanche diode to overcome these limitations. Our method models two-bounce optical paths with NeRF, using lidar transient data for supervision. By leveraging the advantages of both NeRF and two-bounce light measured by lidar, we demonstrate that we can reconstruct visible and occluded geometry without data priors or reliance on controlled ambient lighting or scene albedo. In addition, we demonstrate improved generalization under practical constraints on sensor spatial- and temporal-resolution. We believe our method is a promising direction as single-photon lidars become ubiquitous on consumer devices, such as phones, tablets, and headsets.