3DGS-Enhancer: Potenziare lo Splatting Gaussiano 3D Illimitato con Priori di Diffusione 2D Coerenti con la Vista

3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors

October 21, 2024

Autori: Xi Liu, Chaoyi Zhou, Siyu Huang

cs.AI

Abstract

La sintesi di viste innovative mira a generare viste innovative di una scena da multiple immagini o video di input, e recenti progressi come lo spruzzamento gaussiano tridimensionale (3DGS) hanno ottenuto notevole successo nella produzione di rendering fotorealistici con pipeline efficienti. Tuttavia, generare viste innovative di alta qualità in contesti sfidanti, come viste di input sparse, rimane difficile a causa di informazioni insufficienti nelle aree sottocampionate, spesso risultando in artefatti evidenti. Questo articolo presenta 3DGS-Enhancer, una nuova pipeline per migliorare la qualità della rappresentazione delle rappresentazioni 3DGS. Sfruttiamo i priori di diffusione video 2D per affrontare il problema della consistenza delle viste 3D, riformulandolo come raggiungimento di una consistenza temporale all'interno di un processo di generazione video. 3DGS-Enhancer ripristina le caratteristiche latenti consistenti con la vista delle viste innovative renderizzate e le integra con le viste di input attraverso un decodificatore spazio-temporale. Le viste migliorate vengono quindi utilizzate per ottimizzare il modello 3DGS iniziale, migliorandone significativamente le prestazioni di rendering. Esperimenti estesi su dataset su larga scala di scene illimitate dimostrano che 3DGS-Enhancer produce prestazioni di ricostruzione superiori e risultati di rendering ad alta fedeltà rispetto ai metodi all'avanguardia. La pagina web del progetto è https://xiliu8006.github.io/3DGS-Enhancer-project.

English

Novel-view synthesis aims to generate novel views of a scene from multiple input images or videos, and recent advancements like 3D Gaussian splatting (3DGS) have achieved notable success in producing photorealistic renderings with efficient pipelines. However, generating high-quality novel views under challenging settings, such as sparse input views, remains difficult due to insufficient information in under-sampled areas, often resulting in noticeable artifacts. This paper presents 3DGS-Enhancer, a novel pipeline for enhancing the representation quality of 3DGS representations. We leverage 2D video diffusion priors to address the challenging 3D view consistency problem, reformulating it as achieving temporal consistency within a video generation process. 3DGS-Enhancer restores view-consistent latent features of rendered novel views and integrates them with the input views through a spatial-temporal decoder. The enhanced views are then used to fine-tune the initial 3DGS model, significantly improving its rendering performance. Extensive experiments on large-scale datasets of unbounded scenes demonstrate that 3DGS-Enhancer yields superior reconstruction performance and high-fidelity rendering results compared to state-of-the-art methods. The project webpage is https://xiliu8006.github.io/3DGS-Enhancer-project .