UniSDF: Unificación de Representaciones Neuronales para la Reconstrucción 3D de Alta Fidelidad en Escenas Complejas con Reflexiones

UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections

December 20, 2023

Autores: Fangjinhua Wang, Marie-Julie Rakotosaona, Michael Niemeyer, Richard Szeliski, Marc Pollefeys, Federico Tombari

cs.AI

Resumen

Las representaciones neuronales de escenas 3D han demostrado un gran potencial para la reconstrucción 3D a partir de imágenes 2D. Sin embargo, reconstruir capturas del mundo real de escenas complejas sigue siendo un desafío. Los métodos genéricos existentes de reconstrucción 3D a menudo tienen dificultades para representar detalles geométricos finos y no modelan adecuadamente las superficies reflectantes en escenas de gran escala. Las técnicas que se centran explícitamente en superficies reflectantes pueden modelar reflejos complejos y detallados al aprovechar mejores parametrizaciones de la reflexión. Sin embargo, observamos que estos métodos a menudo no son robustos en escenarios reales no acotados donde están presentes componentes tanto reflectantes como no reflectantes. En este trabajo, proponemos UniSDF, un método de reconstrucción 3D de propósito general que puede reconstruir escenas grandes y complejas con reflejos. Investigamos tanto técnicas de parametrización de predicción de color basadas en la vista como en la reflexión, y encontramos que la combinación explícita de estas representaciones en el espacio 3D permite la reconstrucción de superficies que son geométricamente más precisas, especialmente para superficies reflectantes. Además, combinamos esta representación con una arquitectura de red de malla multi-resolución que se entrena de manera gruesa a fina, permitiendo reconstrucciones más rápidas que los métodos anteriores. Experimentos extensivos en conjuntos de datos a nivel de objeto como DTU y Shiny Blender, así como en conjuntos de datos no acotados como Mip-NeRF 360 y Ref-NeRF real, demuestran que nuestro método es capaz de reconstruir de manera robusta escenas complejas de gran escala con detalles finos y superficies reflectantes. Consulte nuestra página del proyecto en https://fangjinhuawang.github.io/UniSDF.

English

Neural 3D scene representations have shown great potential for 3D reconstruction from 2D images. However, reconstructing real-world captures of complex scenes still remains a challenge. Existing generic 3D reconstruction methods often struggle to represent fine geometric details and do not adequately model reflective surfaces of large-scale scenes. Techniques that explicitly focus on reflective surfaces can model complex and detailed reflections by exploiting better reflection parameterizations. However, we observe that these methods are often not robust in real unbounded scenarios where non-reflective as well as reflective components are present. In this work, we propose UniSDF, a general purpose 3D reconstruction method that can reconstruct large complex scenes with reflections. We investigate both view-based as well as reflection-based color prediction parameterization techniques and find that explicitly blending these representations in 3D space enables reconstruction of surfaces that are more geometrically accurate, especially for reflective surfaces. We further combine this representation with a multi-resolution grid backbone that is trained in a coarse-to-fine manner, enabling faster reconstructions than prior methods. Extensive experiments on object-level datasets DTU, Shiny Blender as well as unbounded datasets Mip-NeRF 360 and Ref-NeRF real demonstrate that our method is able to robustly reconstruct complex large-scale scenes with fine details and reflective surfaces. Please see our project page at https://fangjinhuawang.github.io/UniSDF.