UniSDF: Unificando Representações Neurais para Reconstrução 3D de Alta Fidelidade em Cenas Complexas com Reflexos

UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections

December 20, 2023

Autores: Fangjinhua Wang, Marie-Julie Rakotosaona, Michael Niemeyer, Richard Szeliski, Marc Pollefeys, Federico Tombari

cs.AI

Resumo

As representações neurais de cenas 3D têm demonstrado grande potencial para a reconstrução 3D a partir de imagens 2D. No entanto, a reconstrução de capturas do mundo real de cenas complexas ainda permanece um desafio. Os métodos genéricos de reconstrução 3D existentes frequentemente lutam para representar detalhes geométricos finos e não modelam adequadamente superfícies reflexivas em cenas de grande escala. Técnicas que se concentram explicitamente em superfícies reflexivas podem modelar reflexões complexas e detalhadas ao explorar parametrizações de reflexão mais eficientes. No entanto, observamos que esses métodos muitas vezes não são robustos em cenários reais ilimitados, onde componentes não reflexivos e reflexivos estão presentes. Neste trabalho, propomos o UniSDF, um método de reconstrução 3D de propósito geral que pode reconstruir cenas complexas e extensas com reflexões. Investigamos tanto técnicas de parametrização de previsão de cor baseadas em visão quanto em reflexão e descobrimos que a combinação explícita dessas representações no espaço 3D permite a reconstrução de superfícies geometricamente mais precisas, especialmente para superfícies reflexivas. Além disso, combinamos essa representação com uma estrutura de grade multi-resolução que é treinada de maneira grossa para fina, permitindo reconstruções mais rápidas do que métodos anteriores. Experimentos extensivos em conjuntos de dados de nível de objeto, como DTU e Shiny Blender, bem como em conjuntos de dados ilimitados, como Mip-NeRF 360 e Ref-NeRF real, demonstram que nosso método é capaz de reconstruir robustamente cenas complexas e extensas com detalhes finos e superfícies reflexivas. Consulte nossa página do projeto em https://fangjinhuawang.github.io/UniSDF.

English

Neural 3D scene representations have shown great potential for 3D reconstruction from 2D images. However, reconstructing real-world captures of complex scenes still remains a challenge. Existing generic 3D reconstruction methods often struggle to represent fine geometric details and do not adequately model reflective surfaces of large-scale scenes. Techniques that explicitly focus on reflective surfaces can model complex and detailed reflections by exploiting better reflection parameterizations. However, we observe that these methods are often not robust in real unbounded scenarios where non-reflective as well as reflective components are present. In this work, we propose UniSDF, a general purpose 3D reconstruction method that can reconstruct large complex scenes with reflections. We investigate both view-based as well as reflection-based color prediction parameterization techniques and find that explicitly blending these representations in 3D space enables reconstruction of surfaces that are more geometrically accurate, especially for reflective surfaces. We further combine this representation with a multi-resolution grid backbone that is trained in a coarse-to-fine manner, enabling faster reconstructions than prior methods. Extensive experiments on object-level datasets DTU, Shiny Blender as well as unbounded datasets Mip-NeRF 360 and Ref-NeRF real demonstrate that our method is able to robustly reconstruct complex large-scale scenes with fine details and reflective surfaces. Please see our project page at https://fangjinhuawang.github.io/UniSDF.