FSGS: Sintesi in Tempo Reale di Viste con Pochi Esempi Utilizzando lo Splatting Gaussiano

FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting

December 1, 2023

Autori: Zehao Zhu, Zhiwen Fan, Yifan Jiang, Zhangyang Wang

cs.AI

Abstract

La sintesi di nuove viste a partire da osservazioni limitate rimane un compito importante e persistente. Tuttavia, l'elevata efficienza nelle attuali tecniche di sintesi di viste con poche immagini basate su NeRF è spesso compromessa per ottenere una rappresentazione 3D accurata. Per affrontare questa sfida, proponiamo un framework di sintesi di viste con poche immagini basato su 3D Gaussian Splatting che consente una sintesi di viste in tempo reale e fotorealistica con un minimo di tre viste di addestramento. Il metodo proposto, denominato FSGS, gestisce i punti SfM inizializzati estremamente sparsi con un processo di Gaussian Unpooling progettato con cura. Il nostro metodo distribuisce iterativamente nuove Gaussiane intorno alle posizioni più rappresentative, riempiendo successivamente i dettagli locali nelle aree vuote. Integriamo inoltre un estimatore di profondità monoculare pre-addestrato su larga scala all'interno del processo di ottimizzazione delle Gaussiane, sfruttando viste aumentate online per guidare l'ottimizzazione geometrica verso una soluzione ottimale. Partendo da punti sparsi osservati da viste di input limitate, il nostro FSGS può crescere accuratamente in regioni non viste, coprendo in modo completo la scena e migliorando la qualità di rendering delle nuove viste. Nel complesso, FSGS raggiunge prestazioni all'avanguardia sia in termini di accuratezza che di efficienza di rendering su diversi dataset, tra cui LLFF, Mip-NeRF360 e Blender. Sito web del progetto: https://zehaozhu.github.io/FSGS/.

English

Novel view synthesis from limited observations remains an important and persistent task. However, high efficiency in existing NeRF-based few-shot view synthesis is often compromised to obtain an accurate 3D representation. To address this challenge, we propose a few-shot view synthesis framework based on 3D Gaussian Splatting that enables real-time and photo-realistic view synthesis with as few as three training views. The proposed method, dubbed FSGS, handles the extremely sparse initialized SfM points with a thoughtfully designed Gaussian Unpooling process. Our method iteratively distributes new Gaussians around the most representative locations, subsequently infilling local details in vacant areas. We also integrate a large-scale pre-trained monocular depth estimator within the Gaussians optimization process, leveraging online augmented views to guide the geometric optimization towards an optimal solution. Starting from sparse points observed from limited input viewpoints, our FSGS can accurately grow into unseen regions, comprehensively covering the scene and boosting the rendering quality of novel views. Overall, FSGS achieves state-of-the-art performance in both accuracy and rendering efficiency across diverse datasets, including LLFF, Mip-NeRF360, and Blender. Project website: https://zehaozhu.github.io/FSGS/.