FSGS : Synthèse de vues en temps réel avec peu d'exemples utilisant le lissage gaussien

FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting

December 1, 2023

Auteurs: Zehao Zhu, Zhiwen Fan, Yifan Jiang, Zhangyang Wang

cs.AI

Résumé

La synthèse de nouvelles vues à partir d'observations limitées reste une tâche importante et persistante. Cependant, l'efficacité élevée dans les méthodes existantes de synthèse de vues peu nombreuses basées sur NeRF est souvent compromise pour obtenir une représentation 3D précise. Pour relever ce défi, nous proposons un cadre de synthèse de vues peu nombreuses basé sur le lissage 3D par Gaussiennes, permettant une synthèse de vues en temps réel et photo-réaliste avec seulement trois vues d'entraînement. La méthode proposée, nommée FSGS, gère les points SfM initialisés de manière extrêmement sparse grâce à un processus de dépooling par Gaussiennes soigneusement conçu. Notre méthode distribue itérativement de nouvelles Gaussiennes autour des emplacements les plus représentatifs, comblant ainsi les détails locaux dans les zones vides. Nous intégrons également un estimateur de profondeur monoculaire pré-entraîné à grande échelle dans le processus d'optimisation des Gaussiennes, exploitant des vues augmentées en ligne pour guider l'optimisation géométrique vers une solution optimale. Partant de points spars observés à partir de points de vue d'entrée limités, notre FSGS peut s'étendre avec précision dans des régions non vues, couvrant complètement la scène et améliorant la qualité de rendu des nouvelles vues. Globalement, FSGS atteint des performances de pointe en termes de précision et d'efficacité de rendu sur divers ensembles de données, notamment LLFF, Mip-NeRF360 et Blender. Site web du projet : https://zehaozhu.github.io/FSGS/.

English

Novel view synthesis from limited observations remains an important and persistent task. However, high efficiency in existing NeRF-based few-shot view synthesis is often compromised to obtain an accurate 3D representation. To address this challenge, we propose a few-shot view synthesis framework based on 3D Gaussian Splatting that enables real-time and photo-realistic view synthesis with as few as three training views. The proposed method, dubbed FSGS, handles the extremely sparse initialized SfM points with a thoughtfully designed Gaussian Unpooling process. Our method iteratively distributes new Gaussians around the most representative locations, subsequently infilling local details in vacant areas. We also integrate a large-scale pre-trained monocular depth estimator within the Gaussians optimization process, leveraging online augmented views to guide the geometric optimization towards an optimal solution. Starting from sparse points observed from limited input viewpoints, our FSGS can accurately grow into unseen regions, comprehensively covering the scene and boosting the rendering quality of novel views. Overall, FSGS achieves state-of-the-art performance in both accuracy and rendering efficiency across diverse datasets, including LLFF, Mip-NeRF360, and Blender. Project website: https://zehaozhu.github.io/FSGS/.