UniSDF: Унификация нейронных представлений для высокоточной 3D-реконструкции сложных сцен с отражениями

UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections

December 20, 2023

Авторы: Fangjinhua Wang, Marie-Julie Rakotosaona, Michael Niemeyer, Richard Szeliski, Marc Pollefeys, Federico Tombari

cs.AI

Аннотация

Нейронные 3D-представления сцен продемонстрировали значительный потенциал для реконструкции 3D-моделей из 2D-изображений. Однако реконструкция реальных съемок сложных сцен по-прежнему остается сложной задачей. Существующие универсальные методы 3D-реконструкции часто не способны точно воспроизводить мелкие геометрические детали и недостаточно хорошо моделируют отражающие поверхности в крупномасштабных сценах. Методы, которые явно фокусируются на отражающих поверхностях, могут моделировать сложные и детализированные отражения за счет использования более совершенных параметризаций отражений. Однако мы наблюдаем, что эти методы часто не обладают достаточной устойчивостью в реальных неограниченных сценариях, где присутствуют как неотражающие, так и отражающие компоненты. В данной работе мы предлагаем UniSDF — универсальный метод 3D-реконструкции, способный восстанавливать крупные сложные сцены с отражениями. Мы исследуем как параметризации предсказания цвета на основе видов, так и на основе отражений, и обнаруживаем, что явное объединение этих представлений в 3D-пространстве позволяет восстанавливать поверхности с более точной геометрией, особенно для отражающих поверхностей. Мы дополнительно комбинируем это представление с многоуровневой сеточной архитектурой, которая обучается от грубого к детальному, что позволяет достичь более быстрой реконструкции по сравнению с предыдущими методами. Эксперименты на наборах данных уровня объектов DTU и Shiny Blender, а также на неограниченных наборах данных Mip-NeRF 360 и Ref-NeRF real демонстрируют, что наш метод способен устойчиво восстанавливать сложные крупномасштабные сцены с мелкими деталями и отражающими поверхностями. Подробнее см. на нашей странице проекта: https://fangjinhuawang.github.io/UniSDF.

English

Neural 3D scene representations have shown great potential for 3D reconstruction from 2D images. However, reconstructing real-world captures of complex scenes still remains a challenge. Existing generic 3D reconstruction methods often struggle to represent fine geometric details and do not adequately model reflective surfaces of large-scale scenes. Techniques that explicitly focus on reflective surfaces can model complex and detailed reflections by exploiting better reflection parameterizations. However, we observe that these methods are often not robust in real unbounded scenarios where non-reflective as well as reflective components are present. In this work, we propose UniSDF, a general purpose 3D reconstruction method that can reconstruct large complex scenes with reflections. We investigate both view-based as well as reflection-based color prediction parameterization techniques and find that explicitly blending these representations in 3D space enables reconstruction of surfaces that are more geometrically accurate, especially for reflective surfaces. We further combine this representation with a multi-resolution grid backbone that is trained in a coarse-to-fine manner, enabling faster reconstructions than prior methods. Extensive experiments on object-level datasets DTU, Shiny Blender as well as unbounded datasets Mip-NeRF 360 and Ref-NeRF real demonstrate that our method is able to robustly reconstruct complex large-scale scenes with fine details and reflective surfaces. Please see our project page at https://fangjinhuawang.github.io/UniSDF.