3DGS-Enhancer: Mejora de la dispersión gaussiana 3D ilimitada con precursores de difusión 2D consistentes con la vista

3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors

October 21, 2024

Autores: Xi Liu, Chaoyi Zhou, Siyu Huang

cs.AI

Resumen

La síntesis de vistas novedosas tiene como objetivo generar vistas novedosas de una escena a partir de múltiples imágenes o videos de entrada, y avances recientes como el salpicado gaussiano 3D (3DGS) han logrado un notable éxito en la producción de representaciones fotorrealistas con tuberías eficientes. Sin embargo, generar vistas novedosas de alta calidad en entornos desafiantes, como vistas de entrada dispersas, sigue siendo difícil debido a la información insuficiente en áreas submuestreadas, lo que a menudo resulta en artefactos notables. Este artículo presenta 3DGS-Enhancer, una nueva tubería para mejorar la calidad de representación de las representaciones 3DGS. Aprovechamos los priors de difusión de video 2D para abordar el desafiante problema de consistencia de vista 3D, reformulándolo como lograr consistencia temporal dentro de un proceso de generación de video. 3DGS-Enhancer restaura características latentes consistentes con la vista de las vistas novedosas renderizadas e las integra con las vistas de entrada a través de un decodificador espacial-temporal. Las vistas mejoradas se utilizan luego para ajustar finamente el modelo 3DGS inicial, mejorando significativamente su rendimiento de renderizado. Experimentos extensos en conjuntos de datos a gran escala de escenas ilimitadas demuestran que 3DGS-Enhancer produce un rendimiento de reconstrucción superior y resultados de renderizado de alta fidelidad en comparación con los métodos de vanguardia. La página web del proyecto es https://xiliu8006.github.io/3DGS-Enhancer-project.

English

Novel-view synthesis aims to generate novel views of a scene from multiple input images or videos, and recent advancements like 3D Gaussian splatting (3DGS) have achieved notable success in producing photorealistic renderings with efficient pipelines. However, generating high-quality novel views under challenging settings, such as sparse input views, remains difficult due to insufficient information in under-sampled areas, often resulting in noticeable artifacts. This paper presents 3DGS-Enhancer, a novel pipeline for enhancing the representation quality of 3DGS representations. We leverage 2D video diffusion priors to address the challenging 3D view consistency problem, reformulating it as achieving temporal consistency within a video generation process. 3DGS-Enhancer restores view-consistent latent features of rendered novel views and integrates them with the input views through a spatial-temporal decoder. The enhanced views are then used to fine-tune the initial 3DGS model, significantly improving its rendering performance. Extensive experiments on large-scale datasets of unbounded scenes demonstrate that 3DGS-Enhancer yields superior reconstruction performance and high-fidelity rendering results compared to state-of-the-art methods. The project webpage is https://xiliu8006.github.io/3DGS-Enhancer-project .