FSGS: Síntesis de Vistas en Tiempo Real con Pocas Muestras utilizando Proyección Gaussiana

FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting

December 1, 2023

Autores: Zehao Zhu, Zhiwen Fan, Yifan Jiang, Zhangyang Wang

cs.AI

Resumen

La síntesis de nuevas vistas a partir de observaciones limitadas sigue siendo una tarea importante y persistente. Sin embargo, la alta eficiencia en la síntesis de vistas con pocas muestras basada en NeRF a menudo se ve comprometida para obtener una representación 3D precisa. Para abordar este desafío, proponemos un marco de síntesis de vistas con pocas muestras basado en 3D Gaussian Splatting que permite la síntesis de vistas en tiempo real y fotorrealista con tan solo tres vistas de entrenamiento. El método propuesto, denominado FSGS, maneja los puntos SfM inicializados extremadamente dispersos con un proceso de Gaussian Unpooling cuidadosamente diseñado. Nuestro método distribuye iterativamente nuevos Gaussianos alrededor de las ubicaciones más representativas, rellenando posteriormente los detalles locales en áreas vacías. También integramos un estimador de profundidad monocular preentrenado a gran escala dentro del proceso de optimización de Gaussianos, aprovechando vistas aumentadas en línea para guiar la optimización geométrica hacia una solución óptima. Partiendo de puntos dispersos observados desde vistas de entrada limitadas, nuestro FSGS puede crecer con precisión en regiones no vistas, cubriendo completamente la escena y mejorando la calidad de renderizado de nuevas vistas. En general, FSGS logra un rendimiento de vanguardia tanto en precisión como en eficiencia de renderizado en diversos conjuntos de datos, incluyendo LLFF, Mip-NeRF360 y Blender. Sitio web del proyecto: https://zehaozhu.github.io/FSGS/.

English

Novel view synthesis from limited observations remains an important and persistent task. However, high efficiency in existing NeRF-based few-shot view synthesis is often compromised to obtain an accurate 3D representation. To address this challenge, we propose a few-shot view synthesis framework based on 3D Gaussian Splatting that enables real-time and photo-realistic view synthesis with as few as three training views. The proposed method, dubbed FSGS, handles the extremely sparse initialized SfM points with a thoughtfully designed Gaussian Unpooling process. Our method iteratively distributes new Gaussians around the most representative locations, subsequently infilling local details in vacant areas. We also integrate a large-scale pre-trained monocular depth estimator within the Gaussians optimization process, leveraging online augmented views to guide the geometric optimization towards an optimal solution. Starting from sparse points observed from limited input viewpoints, our FSGS can accurately grow into unseen regions, comprehensively covering the scene and boosting the rendering quality of novel views. Overall, FSGS achieves state-of-the-art performance in both accuracy and rendering efficiency across diverse datasets, including LLFF, Mip-NeRF360, and Blender. Project website: https://zehaozhu.github.io/FSGS/.