FSGS: 가우시안 스플래팅을 활용한 실시간 퓨샷 뷰 합성

FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting

December 1, 2023

저자: Zehao Zhu, Zhiwen Fan, Yifan Jiang, Zhangyang Wang

cs.AI

초록

제한된 관측 데이터로부터 새로운 시점 합성은 여전히 중요하고 지속적인 과제로 남아 있습니다. 그러나 기존의 NeRF 기반 소수 시점 합성 방법들은 정확한 3D 표현을 얻기 위해 높은 효율성을 희생하는 경우가 많습니다. 이러한 문제를 해결하기 위해, 우리는 3D Gaussian Splatting 기반의 소수 시점 합성 프레임워크를 제안합니다. 이 프레임워크는 단 세 개의 학습 시점만으로도 실시간에 가까운 속도로 사진처럼 사실적인 시점 합성을 가능하게 합니다. FSGS(FSGS)로 명명된 제안 방법은 극도로 희소하게 초기화된 SfM 포인트를 신중하게 설계된 Gaussian Unpooling 프로세스로 처리합니다. 우리의 방법은 가장 대표적인 위치 주변에 새로운 가우시안을 반복적으로 분포시켜 빈 공간의 지역적 세부 정보를 채워 넣습니다. 또한, 대규모 사전 학습된 단안 깊이 추정기를 가우시안 최적화 프로세스에 통합하여, 온라인으로 증강된 시점을 활용해 기하학적 최적화를 최적의 솔루션으로 이끌어냅니다. 제한된 입력 시점에서 관측된 희소한 포인트로 시작하여, FSGS는 보이지 않는 영역까지 정확하게 확장되어 장면을 포괄적으로 커버하고 새로운 시점의 렌더링 품질을 향상시킵니다. 전반적으로, FSGS는 LLFF, Mip-NeRF360, Blender 등 다양한 데이터셋에서 정확도와 렌더링 효율성 모두에서 최첨단 성능을 달성합니다. 프로젝트 웹사이트: https://zehaozhu.github.io/FSGS/.

English

Novel view synthesis from limited observations remains an important and persistent task. However, high efficiency in existing NeRF-based few-shot view synthesis is often compromised to obtain an accurate 3D representation. To address this challenge, we propose a few-shot view synthesis framework based on 3D Gaussian Splatting that enables real-time and photo-realistic view synthesis with as few as three training views. The proposed method, dubbed FSGS, handles the extremely sparse initialized SfM points with a thoughtfully designed Gaussian Unpooling process. Our method iteratively distributes new Gaussians around the most representative locations, subsequently infilling local details in vacant areas. We also integrate a large-scale pre-trained monocular depth estimator within the Gaussians optimization process, leveraging online augmented views to guide the geometric optimization towards an optimal solution. Starting from sparse points observed from limited input viewpoints, our FSGS can accurately grow into unseen regions, comprehensively covering the scene and boosting the rendering quality of novel views. Overall, FSGS achieves state-of-the-art performance in both accuracy and rendering efficiency across diverse datasets, including LLFF, Mip-NeRF360, and Blender. Project website: https://zehaozhu.github.io/FSGS/.