UniSDF: Vereinheitlichte neuronale Repräsentationen für hochauflösende 3D-Rekonstruktion komplexer Szenen mit Reflexionen

UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections

December 20, 2023

Autoren: Fangjinhua Wang, Marie-Julie Rakotosaona, Michael Niemeyer, Richard Szeliski, Marc Pollefeys, Federico Tombari

cs.AI

Zusammenfassung

Neuronale 3D-Szenendarstellungen haben großes Potenzial für die 3D-Rekonstruktion aus 2D-Bildern gezeigt. Die Rekonstruktion realer Aufnahmen komplexer Szenen bleibt jedoch nach wie vor eine Herausforderung. Bestehende generische 3D-Rekonstruktionsmethoden haben oft Schwierigkeiten, feine geometrische Details darzustellen, und modellieren reflektierende Oberflächen in großflächigen Szenen nicht angemessen. Techniken, die sich explizit auf reflektierende Oberflächen konzentrieren, können komplexe und detaillierte Reflexionen durch bessere Reflexionsparametrisierungen modellieren. Wir beobachten jedoch, dass diese Methoden in realen, unbeschränkten Szenarien, in denen sowohl nicht-reflektierende als auch reflektierende Komponenten vorhanden sind, oft nicht robust sind. In dieser Arbeit schlagen wir UniSDF vor, eine allgemeine 3D-Rekonstruktionsmethode, die große, komplexe Szenen mit Reflexionen rekonstruieren kann. Wir untersuchen sowohl sichtbasierte als auch reflexionsbasierte Farbvorhersage-Parametrisierungstechniken und stellen fest, dass die explizite Kombination dieser Darstellungen im 3D-Raum die Rekonstruktion von Oberflächen ermöglicht, die geometrisch genauer sind, insbesondere bei reflektierenden Oberflächen. Wir kombinieren diese Darstellung weiterhin mit einem Multi-Resolution-Grid-Backbone, der in einem grob-zu-fein-Verfahren trainiert wird, was schnellere Rekonstruktionen als bei bisherigen Methoden ermöglicht. Umfangreiche Experimente auf Objektebene mit den Datensätzen DTU und Shiny Blender sowie mit unbeschränkten Datensätzen wie Mip-NeRF 360 und Ref-NeRF real zeigen, dass unsere Methode in der Lage ist, komplexe, großflächige Szenen mit feinen Details und reflektierenden Oberflächen robust zu rekonstruieren. Weitere Informationen finden Sie auf unserer Projektseite unter https://fangjinhuawang.github.io/UniSDF.

English

Neural 3D scene representations have shown great potential for 3D reconstruction from 2D images. However, reconstructing real-world captures of complex scenes still remains a challenge. Existing generic 3D reconstruction methods often struggle to represent fine geometric details and do not adequately model reflective surfaces of large-scale scenes. Techniques that explicitly focus on reflective surfaces can model complex and detailed reflections by exploiting better reflection parameterizations. However, we observe that these methods are often not robust in real unbounded scenarios where non-reflective as well as reflective components are present. In this work, we propose UniSDF, a general purpose 3D reconstruction method that can reconstruct large complex scenes with reflections. We investigate both view-based as well as reflection-based color prediction parameterization techniques and find that explicitly blending these representations in 3D space enables reconstruction of surfaces that are more geometrically accurate, especially for reflective surfaces. We further combine this representation with a multi-resolution grid backbone that is trained in a coarse-to-fine manner, enabling faster reconstructions than prior methods. Extensive experiments on object-level datasets DTU, Shiny Blender as well as unbounded datasets Mip-NeRF 360 and Ref-NeRF real demonstrate that our method is able to robustly reconstruct complex large-scale scenes with fine details and reflective surfaces. Please see our project page at https://fangjinhuawang.github.io/UniSDF.