3DGS-Enhancer: Улучшение неограниченного трехмерного гауссовского сплэтинга с 2D диффузионными априорными данными, согласованными с видом.

3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors

October 21, 2024

Авторы: Xi Liu, Chaoyi Zhou, Siyu Huang

cs.AI

Аннотация

Синтез нового вида направлен на создание новых видов сцены из нескольких входных изображений или видео, и недавние достижения, такие как трехмерное гауссово сглаживание (3DGS), добились значительного успеха в создании фотореалистичных рендерингов с эффективными конвейерами. Однако создание высококачественных новых видов в сложных условиях, таких как разреженные входные виды, остается сложной задачей из-за недостаточной информации в недостаточно выборочных областях, что часто приводит к заметным артефактам. В данной статье представлен 3DGS-Enhancer, новый конвейер для улучшения качества представления трехмерного гауссова сглаживания. Мы используем диффузионные априорные знания 2D-видео для решения проблемы сложности согласования трехмерного вида, переформулируя ее как достижение временной согласованности в процессе генерации видео. 3DGS-Enhancer восстанавливает согласованные с видом латентные особенности созданных новых видов и интегрирует их с входными видами через пространственно-временной декодер. Улучшенные виды затем используются для настройки начальной модели 3DGS, что значительно улучшает ее производительность рендеринга. Обширные эксперименты на крупных наборах данных неограниченных сцен показывают, что 3DGS-Enhancer обеспечивает превосходную производительность реконструкции и результаты рендеринга высокой точности по сравнению с передовыми методами. Веб-страница проекта: https://xiliu8006.github.io/3DGS-Enhancer-project.

English

Novel-view synthesis aims to generate novel views of a scene from multiple input images or videos, and recent advancements like 3D Gaussian splatting (3DGS) have achieved notable success in producing photorealistic renderings with efficient pipelines. However, generating high-quality novel views under challenging settings, such as sparse input views, remains difficult due to insufficient information in under-sampled areas, often resulting in noticeable artifacts. This paper presents 3DGS-Enhancer, a novel pipeline for enhancing the representation quality of 3DGS representations. We leverage 2D video diffusion priors to address the challenging 3D view consistency problem, reformulating it as achieving temporal consistency within a video generation process. 3DGS-Enhancer restores view-consistent latent features of rendered novel views and integrates them with the input views through a spatial-temporal decoder. The enhanced views are then used to fine-tune the initial 3DGS model, significantly improving its rendering performance. Extensive experiments on large-scale datasets of unbounded scenes demonstrate that 3DGS-Enhancer yields superior reconstruction performance and high-fidelity rendering results compared to state-of-the-art methods. The project webpage is https://xiliu8006.github.io/3DGS-Enhancer-project .