UniSDF: Het verenigen van neurale representaties voor hoogwaardige 3D-reconstructie van complexe scènes met reflecties

UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections

December 20, 2023

Auteurs: Fangjinhua Wang, Marie-Julie Rakotosaona, Michael Niemeyer, Richard Szeliski, Marc Pollefeys, Federico Tombari

cs.AI

Samenvatting

Neurale 3D-scène-representaties hebben groot potentieel getoond voor 3D-reconstructie vanuit 2D-beelden. Het reconstrueren van real-world opnames van complexe scènes blijft echter een uitdaging. Bestaande generieke 3D-reconstructiemethoden hebben vaak moeite met het weergeven van fijne geometrische details en modelleren reflecterende oppervlakken van grootschalige scènes niet adequaat. Technieken die zich expliciet richten op reflecterende oppervlakken kunnen complexe en gedetailleerde reflecties modelleren door betere reflectie-parameterisaties te benutten. Wij merken echter op dat deze methoden vaak niet robuust zijn in realistische, onbegrensde scenario's waar zowel niet-reflecterende als reflecterende componenten aanwezig zijn. In dit werk stellen we UniSDF voor, een algemene 3D-reconstructiemethode die grote, complexe scènes met reflecties kan reconstrueren. We onderzoeken zowel opzicht-gebaseerde als reflectie-gebaseerde kleurvoorspellingsparameterisatietechnieken en ontdekken dat het expliciet combineren van deze representaties in 3D-ruimte het mogelijk maakt om oppervlakken te reconstrueren die geometrisch nauwkeuriger zijn, vooral voor reflecterende oppervlakken. We combineren deze representatie verder met een multi-resolutie rasterbackbone die op een grof-naar-fijne manier wordt getraind, wat snellere reconstructies mogelijk maakt dan eerdere methoden. Uitgebreide experimenten op objectniveau-datasets zoals DTU en Shiny Blender, evenals onbegrensde datasets zoals Mip-NeRF 360 en Ref-NeRF real, tonen aan dat onze methode in staat is om complexe, grootschalige scènes met fijne details en reflecterende oppervlakken robuust te reconstrueren. Bezoek onze projectpagina op https://fangjinhuawang.github.io/UniSDF.

English

Neural 3D scene representations have shown great potential for 3D reconstruction from 2D images. However, reconstructing real-world captures of complex scenes still remains a challenge. Existing generic 3D reconstruction methods often struggle to represent fine geometric details and do not adequately model reflective surfaces of large-scale scenes. Techniques that explicitly focus on reflective surfaces can model complex and detailed reflections by exploiting better reflection parameterizations. However, we observe that these methods are often not robust in real unbounded scenarios where non-reflective as well as reflective components are present. In this work, we propose UniSDF, a general purpose 3D reconstruction method that can reconstruct large complex scenes with reflections. We investigate both view-based as well as reflection-based color prediction parameterization techniques and find that explicitly blending these representations in 3D space enables reconstruction of surfaces that are more geometrically accurate, especially for reflective surfaces. We further combine this representation with a multi-resolution grid backbone that is trained in a coarse-to-fine manner, enabling faster reconstructions than prior methods. Extensive experiments on object-level datasets DTU, Shiny Blender as well as unbounded datasets Mip-NeRF 360 and Ref-NeRF real demonstrate that our method is able to robustly reconstruct complex large-scale scenes with fine details and reflective surfaces. Please see our project page at https://fangjinhuawang.github.io/UniSDF.