GSFixer: Verbesserung von 3D-Gaussian-Splatting durch referenzgestützte Video-Diffusions-Priors
GSFixer: Improving 3D Gaussian Splatting with Reference-Guided Video Diffusion Priors
August 13, 2025
papers.authors: Xingyilang Yin, Qi Zhang, Jiahao Chang, Ying Feng, Qingnan Fan, Xi Yang, Chi-Man Pun, Huaqi Zhang, Xiaodong Cun
cs.AI
papers.abstract
Die Rekonstruktion von 3D-Szenen mittels 3D Gaussian Splatting (3DGS) aus spärlichen Ansichten ist ein schlecht gestelltes Problem aufgrund unzureichender Informationen, was oft zu sichtbaren Artefakten führt. Während neuere Ansätze versucht haben, generative Prioritäten zu nutzen, um Informationen für unterbestimmte Regionen zu vervollständigen, haben sie Schwierigkeiten, Inhalte zu erzeugen, die mit den Eingabe-Beobachtungen konsistent bleiben. Um diese Herausforderung zu bewältigen, schlagen wir GSFixer vor, ein neuartiges Framework, das darauf abzielt, die Qualität von 3DGS-Darstellungen, die aus spärlichen Eingaben rekonstruiert wurden, zu verbessern. Der Kern unseres Ansatzes ist das referenzgestützte Video-Restaurationsmodell, das auf einem DiT-basierten Video-Diffusionsmodell basiert, das auf gepaarten 3DGS-Renderings mit Artefakten und sauberen Frames mit zusätzlichen referenzbasierten Bedingungen trainiert wurde. Indem wir die spärlichen Eingabeansichten als Referenzen betrachten, integriert unser Modell sowohl 2D-semantische als auch 3D-geometrische Merkmale der Referenzansichten, die aus dem visuellen Geometrie-Foundation-Modell extrahiert wurden, und verbessert so die semantische Kohärenz und 3D-Konsistenz bei der Korrektur von Artefakten in neuen Ansichten. Darüber hinaus präsentieren wir angesichts des Mangels an geeigneten Benchmarks für die Bewertung der 3DGS-Artefakt-Restaurierung DL3DV-Res, das Artefakt-Frames enthält, die mit qualitativ minderwertigem 3DGS gerendert wurden. Umfangreiche Experimente zeigen, dass unser GSFixer aktuelle state-of-the-art Methoden in der 3DGS-Artefakt-Restaurierung und der 3D-Rekonstruktion aus spärlichen Ansichten übertrifft. Projektseite: https://github.com/GVCLab/GSFixer.
English
Reconstructing 3D scenes using 3D Gaussian Splatting (3DGS) from sparse views
is an ill-posed problem due to insufficient information, often resulting in
noticeable artifacts. While recent approaches have sought to leverage
generative priors to complete information for under-constrained regions, they
struggle to generate content that remains consistent with input observations.
To address this challenge, we propose GSFixer, a novel framework designed to
improve the quality of 3DGS representations reconstructed from sparse inputs.
The core of our approach is the reference-guided video restoration model, built
upon a DiT-based video diffusion model trained on paired artifact 3DGS renders
and clean frames with additional reference-based conditions. Considering the
input sparse views as references, our model integrates both 2D semantic
features and 3D geometric features of reference views extracted from the visual
geometry foundation model, enhancing the semantic coherence and 3D consistency
when fixing artifact novel views. Furthermore, considering the lack of suitable
benchmarks for 3DGS artifact restoration evaluation, we present DL3DV-Res which
contains artifact frames rendered using low-quality 3DGS. Extensive experiments
demonstrate our GSFixer outperforms current state-of-the-art methods in 3DGS
artifact restoration and sparse-view 3D reconstruction. Project page:
https://github.com/GVCLab/GSFixer.