GaussianPro: 3D-сплаттинг с гауссовыми функциями и прогрессивным распространением
GaussianPro: 3D Gaussian Splatting with Progressive Propagation
February 22, 2024
Авторы: Kai Cheng, Xiaoxiao Long, Kaizhi Yang, Yao Yao, Wei Yin, Yuexin Ma, Wenping Wang, Xuejin Chen
cs.AI
Аннотация
Появление метода 3D Gaussian Splatting (3DGS) недавно произвело революцию в области нейронного рендеринга, обеспечивая высококачественную визуализацию в режиме реального времени. Однако 3DGS сильно зависит от инициализированного облака точек, созданного с помощью методов Structure-from-Motion (SfM). При работе с крупномасштабными сценами, которые неизбежно содержат поверхности с низкой текстурой, методы SfM часто не могут сгенерировать достаточное количество точек на этих поверхностях и не обеспечивают хорошей инициализации для 3DGS. В результате 3DGS сталкивается с трудностями оптимизации и низким качеством рендеринга. В данной статье, вдохновленные классическими методами многовидовой стереоскопии (MVS), мы предлагаем GaussianPro — новый метод, который применяет прогрессивную стратегию распространения для управления уплотнением 3D-гауссов. В отличие от простых стратегий разделения и клонирования, используемых в 3DGS, наш метод использует априорные знания о существующих реконструированных геометриях сцены и техники сопоставления патчей для создания новых гауссов с точными позициями и ориентациями. Эксперименты на крупномасштабных и небольших сценах подтверждают эффективность нашего метода, где он значительно превосходит 3DGS на наборе данных Waymo, демонстрируя улучшение на 1.15 дБ по показателю PSNR.
English
The advent of 3D Gaussian Splatting (3DGS) has recently brought about a
revolution in the field of neural rendering, facilitating high-quality
renderings at real-time speed. However, 3DGS heavily depends on the initialized
point cloud produced by Structure-from-Motion (SfM) techniques. When tackling
with large-scale scenes that unavoidably contain texture-less surfaces, the SfM
techniques always fail to produce enough points in these surfaces and cannot
provide good initialization for 3DGS. As a result, 3DGS suffers from difficult
optimization and low-quality renderings. In this paper, inspired by classical
multi-view stereo (MVS) techniques, we propose GaussianPro, a novel method that
applies a progressive propagation strategy to guide the densification of the 3D
Gaussians. Compared to the simple split and clone strategies used in 3DGS, our
method leverages the priors of the existing reconstructed geometries of the
scene and patch matching techniques to produce new Gaussians with accurate
positions and orientations. Experiments on both large-scale and small-scale
scenes validate the effectiveness of our method, where our method significantly
surpasses 3DGS on the Waymo dataset, exhibiting an improvement of 1.15dB in
terms of PSNR.