FSGS: Síntese de Visão em Tempo Real com Poucos Exemplos Utilizando Projeção Gaussiana

FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting

December 1, 2023

Autores: Zehao Zhu, Zhiwen Fan, Yifan Jiang, Zhangyang Wang

cs.AI

Resumo

A síntese de novas visões a partir de observações limitadas continua sendo uma tarefa importante e persistente. No entanto, a alta eficiência nas abordagens baseadas em NeRF para síntese de visões com poucas amostras é frequentemente comprometida para obter uma representação 3D precisa. Para enfrentar esse desafio, propomos um framework de síntese de visões com poucas amostras baseado em 3D Gaussian Splatting que permite a síntese de visões em tempo real e foto-realistas com apenas três visões de treinamento. O método proposto, denominado FSGS, lida com os pontos inicialmente esparsos de SfM por meio de um processo cuidadosamente projetado de Gaussian Unpooling. Nosso método distribui iterativamente novos Gaussianos ao redor das localizações mais representativas, preenchendo posteriormente detalhes locais em áreas vazias. Também integramos um estimador de profundidade monocular pré-treinado em grande escala dentro do processo de otimização dos Gaussianos, aproveitando visões aumentadas online para guiar a otimização geométrica em direção a uma solução ótima. Partindo de pontos esparsos observados a partir de visões de entrada limitadas, nosso FSGS pode crescer com precisão em regiões não vistas, cobrindo a cena de forma abrangente e impulsionando a qualidade de renderização de novas visões. No geral, o FSGS alcança desempenho de ponta tanto em precisão quanto em eficiência de renderização em diversos conjuntos de dados, incluindo LLFF, Mip-NeRF360 e Blender. Site do projeto: https://zehaozhu.github.io/FSGS/.

English

Novel view synthesis from limited observations remains an important and persistent task. However, high efficiency in existing NeRF-based few-shot view synthesis is often compromised to obtain an accurate 3D representation. To address this challenge, we propose a few-shot view synthesis framework based on 3D Gaussian Splatting that enables real-time and photo-realistic view synthesis with as few as three training views. The proposed method, dubbed FSGS, handles the extremely sparse initialized SfM points with a thoughtfully designed Gaussian Unpooling process. Our method iteratively distributes new Gaussians around the most representative locations, subsequently infilling local details in vacant areas. We also integrate a large-scale pre-trained monocular depth estimator within the Gaussians optimization process, leveraging online augmented views to guide the geometric optimization towards an optimal solution. Starting from sparse points observed from limited input viewpoints, our FSGS can accurately grow into unseen regions, comprehensively covering the scene and boosting the rendering quality of novel views. Overall, FSGS achieves state-of-the-art performance in both accuracy and rendering efficiency across diverse datasets, including LLFF, Mip-NeRF360, and Blender. Project website: https://zehaozhu.github.io/FSGS/.