3DGS-Enhancer: Aprimorando a Sobreposição Gaussiana 3D Ilimitada com Priors de Difusão 2D Consistentes com a Visão

3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors

October 21, 2024

Autores: Xi Liu, Chaoyi Zhou, Siyu Huang

cs.AI

Resumo

A síntese de visualizações inéditas tem como objetivo gerar visualizações inéditas de uma cena a partir de múltiplas imagens ou vídeos de entrada, e avanços recentes como o espalhamento gaussiano 3D (3DGS) alcançaram sucesso notável na produção de renderizações fotorrealistas com pipelines eficientes. No entanto, gerar visualizações inéditas de alta qualidade em ambientes desafiadores, como visualizações de entrada esparsas, continua sendo difícil devido à informação insuficiente em áreas subamostradas, resultando frequentemente em artefatos perceptíveis. Este artigo apresenta o 3DGS-Enhancer, um novo pipeline para aprimorar a qualidade de representação das representações 3DGS. Nós utilizamos priores de difusão de vídeo 2D para lidar com o desafiador problema de consistência de visualização 3D, reformulando-o como alcançar consistência temporal dentro de um processo de geração de vídeo. O 3DGS-Enhancer restaura características latentes consistentes com a visualização de visualizações inéditas renderizadas e as integra com as visualizações de entrada por meio de um decodificador espacial-temporal. As visualizações aprimoradas são então usadas para ajustar o modelo 3DGS inicial, melhorando significativamente seu desempenho de renderização. Experimentos extensivos em conjuntos de dados em grande escala de cenas ilimitadas demonstram que o 3DGS-Enhancer proporciona um desempenho de reconstrução superior e resultados de renderização de alta fidelidade em comparação com métodos de ponta. A página do projeto pode ser acessada em https://xiliu8006.github.io/3DGS-Enhancer-project.

English

Novel-view synthesis aims to generate novel views of a scene from multiple input images or videos, and recent advancements like 3D Gaussian splatting (3DGS) have achieved notable success in producing photorealistic renderings with efficient pipelines. However, generating high-quality novel views under challenging settings, such as sparse input views, remains difficult due to insufficient information in under-sampled areas, often resulting in noticeable artifacts. This paper presents 3DGS-Enhancer, a novel pipeline for enhancing the representation quality of 3DGS representations. We leverage 2D video diffusion priors to address the challenging 3D view consistency problem, reformulating it as achieving temporal consistency within a video generation process. 3DGS-Enhancer restores view-consistent latent features of rendered novel views and integrates them with the input views through a spatial-temporal decoder. The enhanced views are then used to fine-tune the initial 3DGS model, significantly improving its rendering performance. Extensive experiments on large-scale datasets of unbounded scenes demonstrate that 3DGS-Enhancer yields superior reconstruction performance and high-fidelity rendering results compared to state-of-the-art methods. The project webpage is https://xiliu8006.github.io/3DGS-Enhancer-project .