GSFixer: 参照映像誘導型ビデオ拡散事前分布を用いた3Dガウススプラッティングの改善

GSFixer: Improving 3D Gaussian Splatting with Reference-Guided Video Diffusion Priors

August 13, 2025

著者: Xingyilang Yin, Qi Zhang, Jiahao Chang, Ying Feng, Qingnan Fan, Xi Yang, Chi-Man Pun, Huaqi Zhang, Xiaodong Cun

cs.AI

要旨

スパースビューからの3Dガウシアンスプラッティング（3DGS）を用いた3Dシーンの再構築は、情報が不十分であるため不良設定問題となり、しばしば目立つアーティファクトが生じます。最近のアプローチでは、制約の少ない領域の情報を補完するために生成的プライアを活用しようとしていますが、入力観測と一貫性のあるコンテンツを生成することに苦戦しています。この課題に対処するため、我々はGSFixerを提案します。これは、スパース入力から再構築された3DGS表現の品質を向上させるための新しいフレームワークです。我々のアプローチの中核は、DiTベースのビデオ拡散モデルに基づく参照ガイド付きビデオ復元モデルであり、アーティファクトのある3DGSレンダリングとクリーンフレームのペアに追加の参照ベースの条件を付けてトレーニングされています。入力スパースビューを参照として考慮し、我々のモデルは、視覚幾何学基盤モデルから抽出された参照ビューの2Dセマンティック特徴と3D幾何学的特徴を統合し、アーティファクトのある新規ビューを修正する際のセマンティック一貫性と3D一貫性を強化します。さらに、3DGSアーティファクト復元評価に適したベンチマークが不足していることを考慮し、低品質3DGSでレンダリングされたアーティファクトフレームを含むDL3DV-Resを提示します。大規模な実験により、我々のGSFixerが3DGSアーティファクト復元およびスパースビュー3D再構築において現在の最先端手法を凌駕することが実証されています。プロジェクトページ：https://github.com/GVCLab/GSFixer。

English

Reconstructing 3D scenes using 3D Gaussian Splatting (3DGS) from sparse views is an ill-posed problem due to insufficient information, often resulting in noticeable artifacts. While recent approaches have sought to leverage generative priors to complete information for under-constrained regions, they struggle to generate content that remains consistent with input observations. To address this challenge, we propose GSFixer, a novel framework designed to improve the quality of 3DGS representations reconstructed from sparse inputs. The core of our approach is the reference-guided video restoration model, built upon a DiT-based video diffusion model trained on paired artifact 3DGS renders and clean frames with additional reference-based conditions. Considering the input sparse views as references, our model integrates both 2D semantic features and 3D geometric features of reference views extracted from the visual geometry foundation model, enhancing the semantic coherence and 3D consistency when fixing artifact novel views. Furthermore, considering the lack of suitable benchmarks for 3DGS artifact restoration evaluation, we present DL3DV-Res which contains artifact frames rendered using low-quality 3DGS. Extensive experiments demonstrate our GSFixer outperforms current state-of-the-art methods in 3DGS artifact restoration and sparse-view 3D reconstruction. Project page: https://github.com/GVCLab/GSFixer.