3DGS-Enhancer: 視点一貫性のある2D拡散事前情報を用いた非境界3Dガウススプラッティングの強化

3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors

October 21, 2024

著者: Xi Liu, Chaoyi Zhou, Siyu Huang

cs.AI

要旨

Novel-view synthesisは、複数の入力画像やビデオからシーンの新しい視点を生成することを目指しており、最近の進歩である3D Gaussian splatting（3DGS）などは、効率的なパイプラインで写実的なレンダリングを生み出すことにおいて注目すべき成功を収めています。しかし、疎な入力視点などの厳しい状況下で高品質な新しい視点を生成することは、アンダーサンプリングされた領域に情報が不足しているため困難であり、しばしば目立つアーティファクトが生じます。本論文では、3DGS表現の表現品質を向上させるための新しいパイプラインである3DGS-Enhancerを提案します。我々は、2Dビデオ拡散事前条件を活用して、難解な3D視点の一貫性の問題に取り組み、それをビデオ生成プロセス内での時間的一貫性の達成として再定式化します。3DGS-Enhancerは、レンダリングされた新しい視点の視点一貫性の潜在的な特徴を回復し、それらを入力視点と空間的・時間的デコーダーを介して統合します。向上した視点は、初期の3DGSモデルを微調整するために使用され、そのレンダリング性能を大幅に向上させます。無限のシーンの大規模データセットでの包括的な実験により、3DGS-Enhancerが最先端の手法と比較して優れた再構築性能と高い忠実度のレンダリング結果をもたらすことが示されました。プロジェクトのウェブページはhttps://xiliu8006.github.io/3DGS-Enhancer-projectです。

English

Novel-view synthesis aims to generate novel views of a scene from multiple input images or videos, and recent advancements like 3D Gaussian splatting (3DGS) have achieved notable success in producing photorealistic renderings with efficient pipelines. However, generating high-quality novel views under challenging settings, such as sparse input views, remains difficult due to insufficient information in under-sampled areas, often resulting in noticeable artifacts. This paper presents 3DGS-Enhancer, a novel pipeline for enhancing the representation quality of 3DGS representations. We leverage 2D video diffusion priors to address the challenging 3D view consistency problem, reformulating it as achieving temporal consistency within a video generation process. 3DGS-Enhancer restores view-consistent latent features of rendered novel views and integrates them with the input views through a spatial-temporal decoder. The enhanced views are then used to fine-tune the initial 3DGS model, significantly improving its rendering performance. Extensive experiments on large-scale datasets of unbounded scenes demonstrate that 3DGS-Enhancer yields superior reconstruction performance and high-fidelity rendering results compared to state-of-the-art methods. The project webpage is https://xiliu8006.github.io/3DGS-Enhancer-project .