VastGaussian: 大規模シーン再構築のための広大な3Dガウシアン

要旨

既存のNeRFベースの大規模シーン再構築手法は、視覚的品質とレンダリング速度に制限があることが多い。最近の3D Gaussian Splattingは小規模でオブジェクト中心のシーンでは良好に機能するが、大規模シーンへのスケールアップには、ビデオメモリの制約、最適化時間の長さ、顕著な外観の変動といった課題が存在する。これらの課題に対処するため、我々は3D Gaussian Splattingに基づく大規模シーン向けの高品質な再構築とリアルタイムレンダリングを実現する初の手法であるVastGaussianを提案する。大規模シーンを複数のセルに分割するための段階的な分割戦略を提案し、トレーニングカメラと点群を空域を考慮した可視性基準に基づいて適切に配置する。これらのセルは並列最適化後に完全なシーンに統合される。さらに、最適化プロセスに分離された外観モデリングを導入し、レンダリング画像における外観の変動を低減する。我々の手法は既存のNeRFベースの手法を凌駕し、複数の大規模シーンデータセットにおいて最先端の結果を達成し、高速な最適化と高忠実度のリアルタイムレンダリングを可能にする。

English

Existing NeRF-based methods for large scene reconstruction often have limitations in visual quality and rendering speed. While the recent 3D Gaussian Splatting works well on small-scale and object-centric scenes, scaling it up to large scenes poses challenges due to limited video memory, long optimization time, and noticeable appearance variations. To address these challenges, we present VastGaussian, the first method for high-quality reconstruction and real-time rendering on large scenes based on 3D Gaussian Splatting. We propose a progressive partitioning strategy to divide a large scene into multiple cells, where the training cameras and point cloud are properly distributed with an airspace-aware visibility criterion. These cells are merged into a complete scene after parallel optimization. We also introduce decoupled appearance modeling into the optimization process to reduce appearance variations in the rendered images. Our approach outperforms existing NeRF-based methods and achieves state-of-the-art results on multiple large scene datasets, enabling fast optimization and high-fidelity real-time rendering.

VastGaussian: 大規模シーン再構築のための広大な3Dガウシアン

VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction

要旨

Support