PlatoNeRF: 3D-реконструкция в пещере Платона с использованием однокадрового лидара с двойным отражением

PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce Lidar

December 21, 2023

Авторы: Tzofi Klinghoffer, Xiaoyu Xiang, Siddharth Somasundaram, Yuchen Fan, Christian Richardt, Ramesh Raskar, Rakesh Ranjan

cs.AI

Аннотация

3D-реконструкция на основе одного ракурса является сложной задачей из-за неоднозначности, возникающей при использовании монокулярных сигналов, и отсутствия информации о скрытых областях. Нейронные поля излучения (NeRF), хотя и популярны для синтеза видов и 3D-реконструкции, обычно зависят от изображений с нескольких ракурсов. Существующие методы для 3D-реконструкции с использованием NeRF на основе одного ракурса полагаются либо на априорные данные для "додумывания" скрытых областей, что может быть физически неточным, либо на тени, наблюдаемые RGB-камерами, которые сложно обнаружить при рассеянном освещении и на фонах с низким альбедо. Мы предлагаем использовать данные времени пролета, полученные с помощью однофотонного лавинного диода, чтобы преодолеть эти ограничения. Наш метод моделирует двухотраженные оптические пути с использованием NeRF, применяя данные лидарных переходных процессов для обучения. Используя преимущества как NeRF, так и двухотраженного света, измеряемого лидаром, мы показываем, что можем реконструировать видимую и скрытую геометрию без использования априорных данных или зависимости от контролируемого освещения или альбедо сцены. Кроме того, мы демонстрируем улучшенную обобщаемость в условиях практических ограничений на пространственное и временное разрешение сенсора. Мы считаем, что наш метод является перспективным направлением, поскольку однофотонные лидары становятся повсеместными на потребительских устройствах, таких как телефоны, планшеты и гарнитуры.

English

3D reconstruction from a single-view is challenging because of the ambiguity from monocular cues and lack of information about occluded regions. Neural radiance fields (NeRF), while popular for view synthesis and 3D reconstruction, are typically reliant on multi-view images. Existing methods for single-view 3D reconstruction with NeRF rely on either data priors to hallucinate views of occluded regions, which may not be physically accurate, or shadows observed by RGB cameras, which are difficult to detect in ambient light and low albedo backgrounds. We propose using time-of-flight data captured by a single-photon avalanche diode to overcome these limitations. Our method models two-bounce optical paths with NeRF, using lidar transient data for supervision. By leveraging the advantages of both NeRF and two-bounce light measured by lidar, we demonstrate that we can reconstruct visible and occluded geometry without data priors or reliance on controlled ambient lighting or scene albedo. In addition, we demonstrate improved generalization under practical constraints on sensor spatial- and temporal-resolution. We believe our method is a promising direction as single-photon lidars become ubiquitous on consumer devices, such as phones, tablets, and headsets.