PlatoNeRF：単一視点二反射ライダーによるプラトンの洞窟内3D再構成

要旨

単一視点からの3D再構成は、単眼視覚の曖昧さと遮蔽領域に関する情報の欠如により困難な課題です。ニューラルラジアンスフィールド（NeRF）は、視点合成や3D再構成において人気がありますが、通常は多視点画像に依存しています。NeRFを用いた単一視点3D再構成の既存手法は、遮蔽領域の視点を想像するためにデータ事前分布に依存するか、RGBカメラで観測される影に依存しています。前者は物理的に正確でない可能性があり、後者は環境光や低アルベド背景では検出が困難です。私たちは、これらの制限を克服するために、単一光子アバランシェダイオードで取得した飛行時間データを使用することを提案します。本手法では、NeRFを用いて二回反射光路をモデル化し、LiDARの過渡データを教師信号として利用します。NeRFとLiDARで測定された二回反射光の利点を活用することで、データ事前分布や制御された環境照明、シーンのアルベドに依存せずに、可視および遮蔽された幾何学を再構成できることを実証します。さらに、センサーの空間分解能と時間分解能に関する実用的な制約下での汎化性能の向上も示します。単一光子LiDARがスマートフォン、タブレット、ヘッドセットなどの消費者向けデバイスに普及するにつれ、本手法は有望な方向性であると考えています。

English

3D reconstruction from a single-view is challenging because of the ambiguity from monocular cues and lack of information about occluded regions. Neural radiance fields (NeRF), while popular for view synthesis and 3D reconstruction, are typically reliant on multi-view images. Existing methods for single-view 3D reconstruction with NeRF rely on either data priors to hallucinate views of occluded regions, which may not be physically accurate, or shadows observed by RGB cameras, which are difficult to detect in ambient light and low albedo backgrounds. We propose using time-of-flight data captured by a single-photon avalanche diode to overcome these limitations. Our method models two-bounce optical paths with NeRF, using lidar transient data for supervision. By leveraging the advantages of both NeRF and two-bounce light measured by lidar, we demonstrate that we can reconstruct visible and occluded geometry without data priors or reliance on controlled ambient lighting or scene albedo. In addition, we demonstrate improved generalization under practical constraints on sensor spatial- and temporal-resolution. We believe our method is a promising direction as single-photon lidars become ubiquitous on consumer devices, such as phones, tablets, and headsets.

PlatoNeRF：単一視点二反射ライダーによるプラトンの洞窟内3D再構成

PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce Lidar

要旨

Support