FSGS: Реализация синтеза видов в реальном времени с использованием метода гауссовых сплатов для задач с малым количеством данных

FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting

December 1, 2023

Авторы: Zehao Zhu, Zhiwen Fan, Yifan Jiang, Zhangyang Wang

cs.AI

Аннотация

Синтез новых видов из ограниченных наблюдений остается важной и актуальной задачей. Однако высокая эффективность в существующих методах синтеза видов на основе NeRF с использованием малого количества данных часто жертвуется ради получения точного 3D-представления. Для решения этой проблемы мы предлагаем фреймворк для синтеза видов с малым количеством данных, основанный на 3D Gaussian Splatting, который позволяет осуществлять фотореалистичный синтез видов в реальном времени с использованием всего трех обучающих видов. Предложенный метод, названный FSGS, обрабатывает крайне разреженные инициализированные точки SfM с помощью тщательно разработанного процесса Gaussian Unpooling. Наш метод итеративно распределяет новые гауссовы функции вокруг наиболее репрезентативных мест, заполняя локальные детали в пустых областях. Мы также интегрируем предобученный монокулярный оценщик глубины в процесс оптимизации гауссовых функций, используя онлайн-усиленные виды для направления геометрической оптимизации к оптимальному решению. Начиная с разреженных точек, наблюдаемых из ограниченных входных ракурсов, наш FSGS может точно расширяться в невидимые области, полностью покрывая сцену и повышая качество рендеринга новых видов. В целом, FSGS демонстрирует наилучшие результаты как по точности, так и по эффективности рендеринга на различных наборах данных, включая LLFF, Mip-NeRF360 и Blender. Проектный сайт: https://zehaozhu.github.io/FSGS/.

English

Novel view synthesis from limited observations remains an important and persistent task. However, high efficiency in existing NeRF-based few-shot view synthesis is often compromised to obtain an accurate 3D representation. To address this challenge, we propose a few-shot view synthesis framework based on 3D Gaussian Splatting that enables real-time and photo-realistic view synthesis with as few as three training views. The proposed method, dubbed FSGS, handles the extremely sparse initialized SfM points with a thoughtfully designed Gaussian Unpooling process. Our method iteratively distributes new Gaussians around the most representative locations, subsequently infilling local details in vacant areas. We also integrate a large-scale pre-trained monocular depth estimator within the Gaussians optimization process, leveraging online augmented views to guide the geometric optimization towards an optimal solution. Starting from sparse points observed from limited input viewpoints, our FSGS can accurately grow into unseen regions, comprehensively covering the scene and boosting the rendering quality of novel views. Overall, FSGS achieves state-of-the-art performance in both accuracy and rendering efficiency across diverse datasets, including LLFF, Mip-NeRF360, and Blender. Project website: https://zehaozhu.github.io/FSGS/.