FSGS: ガウススプラッティングを用いたリアルタイムFew-shotビュー合成

FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting

December 1, 2023

著者: Zehao Zhu, Zhiwen Fan, Yifan Jiang, Zhangyang Wang

cs.AI

要旨

限られた観測からの新規視点合成は、依然として重要かつ持続的な課題である。しかし、既存のNeRFベースの少数視点合成における高い効率性は、正確な3D表現を得るためにしばしば犠牲にされている。この課題に対処するため、我々は3D Gaussian Splattingに基づく少数視点合成フレームワークを提案し、わずか3つの訓練視点でリアルタイムかつフォトリアルな視点合成を可能にする。FSGSと名付けられた提案手法は、慎重に設計されたGaussian Unpoolingプロセスにより、極めて疎な初期化SfMポイントを処理する。本手法は、最も代表的な位置周辺に新しいガウシアンを反復的に分布させ、その後、空いた領域に局所的な詳細を埋め込む。また、大規模な事前学習済み単眼深度推定器をガウシアン最適化プロセスに統合し、オンラインで拡張された視点を活用して幾何学的な最適化を最適解へと導く。限られた入力視点から観測された疎なポイントから始めて、我々のFSGSは未観測領域へ正確に拡張し、シーンを包括的にカバーして新規視点のレンダリング品質を向上させる。全体として、FSGSはLLFF、Mip-NeRF360、Blenderなどの多様なデータセットにおいて、精度とレンダリング効率の両方で最先端の性能を達成する。プロジェクトウェブサイト: https://zehaozhu.github.io/FSGS/。

English

Novel view synthesis from limited observations remains an important and persistent task. However, high efficiency in existing NeRF-based few-shot view synthesis is often compromised to obtain an accurate 3D representation. To address this challenge, we propose a few-shot view synthesis framework based on 3D Gaussian Splatting that enables real-time and photo-realistic view synthesis with as few as three training views. The proposed method, dubbed FSGS, handles the extremely sparse initialized SfM points with a thoughtfully designed Gaussian Unpooling process. Our method iteratively distributes new Gaussians around the most representative locations, subsequently infilling local details in vacant areas. We also integrate a large-scale pre-trained monocular depth estimator within the Gaussians optimization process, leveraging online augmented views to guide the geometric optimization towards an optimal solution. Starting from sparse points observed from limited input viewpoints, our FSGS can accurately grow into unseen regions, comprehensively covering the scene and boosting the rendering quality of novel views. Overall, FSGS achieves state-of-the-art performance in both accuracy and rendering efficiency across diverse datasets, including LLFF, Mip-NeRF360, and Blender. Project website: https://zehaozhu.github.io/FSGS/.