UniSDF：反射を伴う複雑なシーンの高精細3D再構成のためのニューラル表現の統合

UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections

December 20, 2023

著者: Fangjinhua Wang, Marie-Julie Rakotosaona, Michael Niemeyer, Richard Szeliski, Marc Pollefeys, Federico Tombari

cs.AI

要旨

ニューラル3Dシーン表現は、2D画像からの3D再構成において大きな可能性を示しています。しかし、複雑なシーンの実世界キャプチャを再構成することは依然として課題です。既存の汎用3D再構成手法は、細かい幾何学的詳細を表現するのに苦労し、大規模シーンの反射面を適切にモデル化できません。反射面に特化した手法は、より優れた反射パラメータ化を活用することで、複雑で詳細な反射をモデル化できます。しかし、これらの手法は、非反射成分と反射成分が混在する実際の無境界シナリオではしばしばロバスト性に欠けることが観察されます。本研究では、反射を伴う大規模で複雑なシーンを再構成できる汎用3D再構成手法UniSDFを提案します。ビューベースおよび反射ベースの色予測パラメータ化技術を調査し、これらの表現を3D空間で明示的にブレンドすることが、特に反射面において、より幾何学的に正確な表面再構成を可能にすることを発見しました。さらに、この表現を粗から細へと訓練されるマルチ解像度グリッドバックボーンと組み合わせることで、従来手法よりも高速な再構成を実現します。オブジェクトレベルデータセットDTU、Shiny Blender、および無境界データセットMip-NeRF 360、Ref-NeRF realでの広範な実験により、本手法が細部と反射面を伴う複雑な大規模シーンをロバストに再構成できることが実証されました。詳細はプロジェクトページhttps://fangjinhuawang.github.io/UniSDFをご覧ください。

English

Neural 3D scene representations have shown great potential for 3D reconstruction from 2D images. However, reconstructing real-world captures of complex scenes still remains a challenge. Existing generic 3D reconstruction methods often struggle to represent fine geometric details and do not adequately model reflective surfaces of large-scale scenes. Techniques that explicitly focus on reflective surfaces can model complex and detailed reflections by exploiting better reflection parameterizations. However, we observe that these methods are often not robust in real unbounded scenarios where non-reflective as well as reflective components are present. In this work, we propose UniSDF, a general purpose 3D reconstruction method that can reconstruct large complex scenes with reflections. We investigate both view-based as well as reflection-based color prediction parameterization techniques and find that explicitly blending these representations in 3D space enables reconstruction of surfaces that are more geometrically accurate, especially for reflective surfaces. We further combine this representation with a multi-resolution grid backbone that is trained in a coarse-to-fine manner, enabling faster reconstructions than prior methods. Extensive experiments on object-level datasets DTU, Shiny Blender as well as unbounded datasets Mip-NeRF 360 and Ref-NeRF real demonstrate that our method is able to robustly reconstruct complex large-scale scenes with fine details and reflective surfaces. Please see our project page at https://fangjinhuawang.github.io/UniSDF.