UniSDF: 반사가 있는 복잡한 장면의 고해상도 3D 재구성을 위한 신경망 표현 통합

UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections

December 20, 2023

저자: Fangjinhua Wang, Marie-Julie Rakotosaona, Michael Niemeyer, Richard Szeliski, Marc Pollefeys, Federico Tombari

cs.AI

초록

신경망 기반 3D 장면 표현은 2D 이미지로부터 3D 재구성을 위한 큰 잠재력을 보여주고 있습니다. 그러나 복잡한 장면의 실제 촬영 데이터를 재구성하는 것은 여전히 도전적인 과제로 남아 있습니다. 기존의 일반적인 3D 재구성 방법들은 미세한 기하학적 디테일을 표현하는 데 어려움을 겪으며, 대규모 장면의 반사 표면을 충분히 모델링하지 못하는 경우가 많습니다. 반사 표면에 명시적으로 초점을 맞춘 기법들은 더 나은 반사 매개변수화를 활용하여 복잡하고 세밀한 반사를 모델링할 수 있지만, 이러한 방법들은 반사 성분과 비반사 성분이 모두 존재하는 실제 무제한 시나리오에서 강건하지 못한 경우가 많습니다. 본 연구에서는 반사가 있는 복잡한 대규모 장면을 재구성할 수 있는 범용 3D 재구성 방법인 UniSDF를 제안합니다. 우리는 뷰 기반 및 반사 기반 색상 예측 매개변수화 기법을 모두 조사하였으며, 이러한 표현들을 3D 공간에서 명시적으로 혼합하는 것이 특히 반사 표면에 대해 기하학적으로 더 정확한 표면 재구성을 가능하게 한다는 것을 발견했습니다. 또한, 이 표현을 coarse-to-fine 방식으로 학습되는 다중 해상도 그리드 백본과 결합하여 기존 방법보다 더 빠른 재구성을 가능하게 했습니다. 객체 수준 데이터셋인 DTU, Shiny Blender와 무제한 데이터셋인 Mip-NeRF 360 및 Ref-NeRF real에 대한 광범위한 실험을 통해 우리의 방법이 미세한 디테일과 반사 표면을 가진 복잡한 대규모 장면을 강건하게 재구성할 수 있음을 입증했습니다. 자세한 내용은 프로젝트 페이지(https://fangjinhuawang.github.io/UniSDF)를 참조하십시오.

English

Neural 3D scene representations have shown great potential for 3D reconstruction from 2D images. However, reconstructing real-world captures of complex scenes still remains a challenge. Existing generic 3D reconstruction methods often struggle to represent fine geometric details and do not adequately model reflective surfaces of large-scale scenes. Techniques that explicitly focus on reflective surfaces can model complex and detailed reflections by exploiting better reflection parameterizations. However, we observe that these methods are often not robust in real unbounded scenarios where non-reflective as well as reflective components are present. In this work, we propose UniSDF, a general purpose 3D reconstruction method that can reconstruct large complex scenes with reflections. We investigate both view-based as well as reflection-based color prediction parameterization techniques and find that explicitly blending these representations in 3D space enables reconstruction of surfaces that are more geometrically accurate, especially for reflective surfaces. We further combine this representation with a multi-resolution grid backbone that is trained in a coarse-to-fine manner, enabling faster reconstructions than prior methods. Extensive experiments on object-level datasets DTU, Shiny Blender as well as unbounded datasets Mip-NeRF 360 and Ref-NeRF real demonstrate that our method is able to robustly reconstruct complex large-scale scenes with fine details and reflective surfaces. Please see our project page at https://fangjinhuawang.github.io/UniSDF.