FSGS: Real-time Few-shot View Synthesis met Gaussische Splatting

FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting

December 1, 2023

Auteurs: Zehao Zhu, Zhiwen Fan, Yifan Jiang, Zhangyang Wang

cs.AI

Samenvatting

Nieuwe beeldweergave-synthese vanuit beperkte observaties blijft een belangrijke en aanhoudende taak. Echter, hoge efficiëntie in bestaande NeRF-gebaseerde few-shot beeldweergave-synthese wordt vaak opgeofferd om een nauwkeurige 3D-weergave te verkrijgen. Om deze uitdaging aan te pakken, stellen we een few-shot beeldweergave-synthese framework voor, gebaseerd op 3D Gaussian Splatting, dat real-time en foto-realistische beeldweergave-synthese mogelijk maakt met slechts drie trainingsbeelden. De voorgestelde methode, genaamd FSGS, behandelt de extreem schaars geïnitialiseerde SfM-punten met een zorgvuldig ontworpen Gaussian Unpooling-proces. Onze methode verdeelt iteratief nieuwe Gaussians rond de meest representatieve locaties, waarna lokale details worden ingevuld in lege gebieden. We integreren ook een grootschalige vooraf getrainde monocular depth estimator binnen het Gaussians optimalisatieproces, waarbij we gebruik maken van online versterkte beelden om de geometrische optimalisatie te begeleiden naar een optimale oplossing. Beginnend vanuit schaarse punten waargenomen vanuit beperkte invoerperspectieven, kan onze FSGS nauwkeurig uitbreiden naar onbekende regio's, waardoor de scène volledig wordt gedekt en de renderkwaliteit van nieuwe beelden wordt verbeterd. Over het algemeen behaalt FSGS state-of-the-art prestaties in zowel nauwkeurigheid als render-efficiëntie over diverse datasets, waaronder LLFF, Mip-NeRF360 en Blender. Projectwebsite: https://zehaozhu.github.io/FSGS/.

English

Novel view synthesis from limited observations remains an important and persistent task. However, high efficiency in existing NeRF-based few-shot view synthesis is often compromised to obtain an accurate 3D representation. To address this challenge, we propose a few-shot view synthesis framework based on 3D Gaussian Splatting that enables real-time and photo-realistic view synthesis with as few as three training views. The proposed method, dubbed FSGS, handles the extremely sparse initialized SfM points with a thoughtfully designed Gaussian Unpooling process. Our method iteratively distributes new Gaussians around the most representative locations, subsequently infilling local details in vacant areas. We also integrate a large-scale pre-trained monocular depth estimator within the Gaussians optimization process, leveraging online augmented views to guide the geometric optimization towards an optimal solution. Starting from sparse points observed from limited input viewpoints, our FSGS can accurately grow into unseen regions, comprehensively covering the scene and boosting the rendering quality of novel views. Overall, FSGS achieves state-of-the-art performance in both accuracy and rendering efficiency across diverse datasets, including LLFF, Mip-NeRF360, and Blender. Project website: https://zehaozhu.github.io/FSGS/.