PlatoNeRF: Reconstrução 3D na Caverna de Platão via Lidar de Dois Saltos com Visão Única

PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce Lidar

December 21, 2023

Autores: Tzofi Klinghoffer, Xiaoyu Xiang, Siddharth Somasundaram, Yuchen Fan, Christian Richardt, Ramesh Raskar, Rakesh Ranjan

cs.AI

Resumo

A reconstrução 3D a partir de uma única vista é desafiadora devido à ambiguidade das pistas monoculares e à falta de informações sobre regiões ocluídas. Campos de radiação neural (NeRF), embora populares para síntese de vistas e reconstrução 3D, geralmente dependem de imagens multivista. Métodos existentes para reconstrução 3D de vista única com NeRF dependem de priors de dados para alucinar vistas de regiões ocluídas, que podem não ser fisicamente precisas, ou de sombras observadas por câmeras RGB, que são difíceis de detectar em luz ambiente e fundos com baixo albedo. Propomos o uso de dados de tempo de voo capturados por um diodo de avalanche de fóton único para superar essas limitações. Nosso método modela caminhos ópticos de dois saltos com NeRF, utilizando dados transitórios de lidar para supervisão. Ao aproveitar as vantagens tanto do NeRF quanto da luz de dois saltos medida pelo lidar, demonstramos que podemos reconstruir geometrias visíveis e ocluídas sem priors de dados ou dependência de iluminação ambiente controlada ou albedo da cena. Além disso, mostramos uma melhoria na generalização sob restrições práticas de resolução espacial e temporal do sensor. Acreditamos que nosso método é uma direção promissora à medida que os lidars de fóton único se tornam ubíquos em dispositivos de consumo, como telefones, tablets e headsets.

English

3D reconstruction from a single-view is challenging because of the ambiguity from monocular cues and lack of information about occluded regions. Neural radiance fields (NeRF), while popular for view synthesis and 3D reconstruction, are typically reliant on multi-view images. Existing methods for single-view 3D reconstruction with NeRF rely on either data priors to hallucinate views of occluded regions, which may not be physically accurate, or shadows observed by RGB cameras, which are difficult to detect in ambient light and low albedo backgrounds. We propose using time-of-flight data captured by a single-photon avalanche diode to overcome these limitations. Our method models two-bounce optical paths with NeRF, using lidar transient data for supervision. By leveraging the advantages of both NeRF and two-bounce light measured by lidar, we demonstrate that we can reconstruct visible and occluded geometry without data priors or reliance on controlled ambient lighting or scene albedo. In addition, we demonstrate improved generalization under practical constraints on sensor spatial- and temporal-resolution. We believe our method is a promising direction as single-photon lidars become ubiquitous on consumer devices, such as phones, tablets, and headsets.