FSGS: Echtzeit-Few-Shot-Ansichtssynthese mit Gaußscher Splatting

FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting

December 1, 2023

Autoren: Zehao Zhu, Zhiwen Fan, Yifan Jiang, Zhangyang Wang

cs.AI

Zusammenfassung

Die Synthese neuer Ansichten aus begrenzten Beobachtungen bleibt eine wichtige und anhaltende Aufgabe. Allerdings wird die hohe Effizienz in bestehenden NeRF-basierten Ansätzen zur Synthese weniger Ansichten oft beeinträchtigt, um eine präzise 3D-Darstellung zu erreichen. Um diese Herausforderung zu bewältigen, schlagen wir ein Framework zur Synthese weniger Ansichten basierend auf 3D Gaussian Splatting vor, das eine Echtzeit- und fotorealistische Ansichtssynthese mit nur drei Trainingsansichten ermöglicht. Die vorgeschlagene Methode, genannt FSGS, verarbeitet die extrem spärlich initialisierten SfM-Punkte mit einem sorgfältig entworfenen Gaussian Unpooling-Prozess. Unsere Methode verteilt iterativ neue Gaussians um die repräsentativsten Orte und füllt anschließend lokale Details in leeren Bereichen auf. Wir integrieren auch einen groß angelegten, vortrainierten monokularen Tiefenschätzer in den Gaussians-Optimierungsprozess, der online augmentierte Ansichten nutzt, um die geometrische Optimierung in Richtung einer optimalen Lösung zu lenken. Ausgehend von spärlichen Punkten, die aus begrenzten Eingabeansichten beobachtet werden, kann unser FSGS präzise in ungesehene Regionen hineinwachsen, die Szene umfassend abdecken und die Rendering-Qualität neuer Ansichten steigern. Insgesamt erreicht FSGS state-of-the-art Leistung in Bezug auf Genauigkeit und Rendering-Effizienz über verschiedene Datensätze hinweg, darunter LLFF, Mip-NeRF360 und Blender. Projektwebsite: https://zehaozhu.github.io/FSGS/.

English

Novel view synthesis from limited observations remains an important and persistent task. However, high efficiency in existing NeRF-based few-shot view synthesis is often compromised to obtain an accurate 3D representation. To address this challenge, we propose a few-shot view synthesis framework based on 3D Gaussian Splatting that enables real-time and photo-realistic view synthesis with as few as three training views. The proposed method, dubbed FSGS, handles the extremely sparse initialized SfM points with a thoughtfully designed Gaussian Unpooling process. Our method iteratively distributes new Gaussians around the most representative locations, subsequently infilling local details in vacant areas. We also integrate a large-scale pre-trained monocular depth estimator within the Gaussians optimization process, leveraging online augmented views to guide the geometric optimization towards an optimal solution. Starting from sparse points observed from limited input viewpoints, our FSGS can accurately grow into unseen regions, comprehensively covering the scene and boosting the rendering quality of novel views. Overall, FSGS achieves state-of-the-art performance in both accuracy and rendering efficiency across diverse datasets, including LLFF, Mip-NeRF360, and Blender. Project website: https://zehaozhu.github.io/FSGS/.