GaussianPro:プログレッシブ伝播を伴う3Dガウススプラッティング
GaussianPro: 3D Gaussian Splatting with Progressive Propagation
February 22, 2024
著者: Kai Cheng, Xiaoxiao Long, Kaizhi Yang, Yao Yao, Wei Yin, Yuexin Ma, Wenping Wang, Xuejin Chen
cs.AI
要旨
3Dガウシアンスプラッティング(3DGS)の登場は、ニューラルレンダリングの分野に革命をもたらし、リアルタイム速度での高品質なレンダリングを可能にしました。しかし、3DGSはStructure-from-Motion(SfM)技術によって生成された初期化点群に大きく依存しています。テクスチャのない表面が避けられない大規模シーンを扱う場合、SfM技術はこれらの表面で十分な点を生成できず、3DGSの良好な初期化を提供できません。その結果、3DGSは最適化が困難で、低品質なレンダリングに悩まされます。本論文では、古典的なマルチビューステレオ(MVS)技術に着想を得て、3Dガウシアンの密度化を導くための漸進的伝播戦略を適用した新しい手法、GaussianProを提案します。3DGSで使用される単純な分割とクローン戦略と比較して、我々の手法はシーンの既存の再構築ジオメトリの事前情報とパッチマッチング技術を活用し、正確な位置と方向を持つ新しいガウシアンを生成します。大規模および小規模シーンでの実験により、我々の手法の有効性が検証され、Waymoデータセットにおいて3DGSを大幅に上回り、PSNRで1.15dBの改善を示しました。
English
The advent of 3D Gaussian Splatting (3DGS) has recently brought about a
revolution in the field of neural rendering, facilitating high-quality
renderings at real-time speed. However, 3DGS heavily depends on the initialized
point cloud produced by Structure-from-Motion (SfM) techniques. When tackling
with large-scale scenes that unavoidably contain texture-less surfaces, the SfM
techniques always fail to produce enough points in these surfaces and cannot
provide good initialization for 3DGS. As a result, 3DGS suffers from difficult
optimization and low-quality renderings. In this paper, inspired by classical
multi-view stereo (MVS) techniques, we propose GaussianPro, a novel method that
applies a progressive propagation strategy to guide the densification of the 3D
Gaussians. Compared to the simple split and clone strategies used in 3DGS, our
method leverages the priors of the existing reconstructed geometries of the
scene and patch matching techniques to produce new Gaussians with accurate
positions and orientations. Experiments on both large-scale and small-scale
scenes validate the effectiveness of our method, where our method significantly
surpasses 3DGS on the Waymo dataset, exhibiting an improvement of 1.15dB in
terms of PSNR.