Декомпозиционная нейронная реконструкция сцены с использованием генеративного диффузионного априори

Decompositional Neural Scene Reconstruction with Generative Diffusion Prior

March 19, 2025

Авторы: Junfeng Ni, Yu Liu, Ruijie Lu, Zirui Zhou, Song-Chun Zhu, Yixin Chen, Siyuan Huang

cs.AI

Аннотация

Реконструкция 3D-сцен с разложением на компоненты, включающая полные формы и детализированные текстуры всех объектов, представляет значительный интерес для последующих приложений, но остается сложной задачей, особенно при использовании разреженных видов в качестве входных данных. Современные подходы включают семантическую или геометрическую регуляризацию для решения этой проблемы, однако они демонстрируют значительное ухудшение качества в недостаточно ограниченных областях и не способны восстанавливать затененные регионы. Мы утверждаем, что ключом к решению этой задачи является восполнение недостающей информации для таких областей. С этой целью мы предлагаем метод DP-Recon, который использует диффузионные априорные знания в форме Score Distillation Sampling (SDS) для оптимизации нейронного представления каждого отдельного объекта при новых ракурсах. Это обеспечивает дополнительную информацию для недостаточно ограниченных областей, однако прямое включение диффузионных априоров может вызывать конфликты между реконструкцией и генеративным руководством. Поэтому мы дополнительно вводим подход, основанный на видимости, для динамической корректировки весов потерь SDS на уровне пикселей. Вместе эти компоненты улучшают восстановление как геометрии, так и внешнего вида, оставаясь при этом верными входным изображениям. Многочисленные эксперименты на данных Replica и ScanNet++ демонстрируют, что наш метод значительно превосходит современные подходы. В частности, он обеспечивает лучшее восстановление объектов при 10 видах, чем базовые методы при 100 видах. Наш метод позволяет выполнять бесшовное текстовое редактирование геометрии и внешнего вида через оптимизацию SDS и создает разложенные на компоненты меши объектов с детализированными UV-картами, поддерживающими фотореалистичное редактирование визуальных эффектов (VFX). Страница проекта доступна по адресу https://dp-recon.github.io/.

English

Decompositional reconstruction of 3D scenes, with complete shapes and detailed texture of all objects within, is intriguing for downstream applications but remains challenging, particularly with sparse views as input. Recent approaches incorporate semantic or geometric regularization to address this issue, but they suffer significant degradation in underconstrained areas and fail to recover occluded regions. We argue that the key to solving this problem lies in supplementing missing information for these areas. To this end, we propose DP-Recon, which employs diffusion priors in the form of Score Distillation Sampling (SDS) to optimize the neural representation of each individual object under novel views. This provides additional information for the underconstrained areas, but directly incorporating diffusion prior raises potential conflicts between the reconstruction and generative guidance. Therefore, we further introduce a visibility-guided approach to dynamically adjust the per-pixel SDS loss weights. Together these components enhance both geometry and appearance recovery while remaining faithful to input images. Extensive experiments across Replica and ScanNet++ demonstrate that our method significantly outperforms SOTA methods. Notably, it achieves better object reconstruction under 10 views than the baselines under 100 views. Our method enables seamless text-based editing for geometry and appearance through SDS optimization and produces decomposed object meshes with detailed UV maps that support photorealistic Visual effects (VFX) editing. The project page is available at https://dp-recon.github.io/.