UniSDF: Unificazione delle Rappresentazioni Neurali per la Ricostruzione 3D ad Alta Fedeltà di Scene Complesse con Riflessi

UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections

December 20, 2023

Autori: Fangjinhua Wang, Marie-Julie Rakotosaona, Michael Niemeyer, Richard Szeliski, Marc Pollefeys, Federico Tombari

cs.AI

Abstract

Le rappresentazioni neurali di scene 3D hanno dimostrato un grande potenziale per la ricostruzione 3D a partire da immagini 2D. Tuttavia, ricostruire acquisizioni del mondo reale di scene complesse rimane ancora una sfida. I metodi generici esistenti per la ricostruzione 3D spesso faticano a rappresentare dettagli geometrici fini e non modellano adeguatamente le superfici riflettenti di scene su larga scala. Le tecniche che si concentrano esplicitamente sulle superfici riflettenti possono modellare riflessi complessi e dettagliati sfruttando parametrizzazioni migliori dei riflessi. Tuttavia, osserviamo che questi metodi spesso non sono robusti in scenari reali illimitati dove sono presenti sia componenti non riflettenti che riflettenti. In questo lavoro, proponiamo UniSDF, un metodo di ricostruzione 3D generico in grado di ricostruire scene complesse e di grandi dimensioni con riflessi. Investigiamo sia tecniche di parametrizzazione della previsione del colore basate sulla vista che sui riflessi e scopriamo che la fusione esplicita di queste rappresentazioni nello spazio 3D consente la ricostruzione di superfici più accurate geometricamente, specialmente per le superfici riflettenti. Combiniamo ulteriormente questa rappresentazione con un'architettura a griglia multi-risoluzione addestrata in modo da grossolano a fine, consentendo ricostruzioni più veloci rispetto ai metodi precedenti. Esperimenti estensivi su dataset a livello di oggetto come DTU e Shiny Blender, nonché su dataset illimitati come Mip-NeRF 360 e Ref-NeRF real, dimostrano che il nostro metodo è in grado di ricostruire in modo robusto scene complesse e di grandi dimensioni con dettagli fini e superfici riflettenti. Si prega di visitare la nostra pagina del progetto all'indirizzo https://fangjinhuawang.github.io/UniSDF.

English

Neural 3D scene representations have shown great potential for 3D reconstruction from 2D images. However, reconstructing real-world captures of complex scenes still remains a challenge. Existing generic 3D reconstruction methods often struggle to represent fine geometric details and do not adequately model reflective surfaces of large-scale scenes. Techniques that explicitly focus on reflective surfaces can model complex and detailed reflections by exploiting better reflection parameterizations. However, we observe that these methods are often not robust in real unbounded scenarios where non-reflective as well as reflective components are present. In this work, we propose UniSDF, a general purpose 3D reconstruction method that can reconstruct large complex scenes with reflections. We investigate both view-based as well as reflection-based color prediction parameterization techniques and find that explicitly blending these representations in 3D space enables reconstruction of surfaces that are more geometrically accurate, especially for reflective surfaces. We further combine this representation with a multi-resolution grid backbone that is trained in a coarse-to-fine manner, enabling faster reconstructions than prior methods. Extensive experiments on object-level datasets DTU, Shiny Blender as well as unbounded datasets Mip-NeRF 360 and Ref-NeRF real demonstrate that our method is able to robustly reconstruct complex large-scale scenes with fine details and reflective surfaces. Please see our project page at https://fangjinhuawang.github.io/UniSDF.