静的および動的ラディアンスフィールドのためのコンパクト3Dガウススプラッティング

Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields

August 7, 2024

著者: Joo Chan Lee, Daniel Rho, Xiangyu Sun, Jong Hwan Ko, Eunbyung Park

cs.AI

要旨

3Dガウシアンスプラッティング（3DGS）は最近、3Dガウシアンベースの表現を活用し、近似ボリュームレンダリングを導入することで、非常に高速なレンダリング速度と有望な画質を実現する代替表現として登場しました。さらに、その後の研究では3DGSを動的な3Dシーンに拡張することに成功し、その幅広い応用可能性が示されています。しかし、3DGSおよびその派生手法は、レンダリング画像の高忠実度を維持するために大量のガウシアンを必要とするという重大な欠点があります。これにより、大量のメモリとストレージが必要となります。この重要な課題に対処するため、我々は特に2つの主要な目標に焦点を当てました：性能を犠牲にすることなくガウシアンポイントの数を削減すること、および視点依存の色や共分散などのガウシアン属性を圧縮することです。この目的のために、我々は学習可能なマスク戦略を提案し、高性能を維持しながらガウシアンの数を大幅に削減します。さらに、球面調和関数に頼るのではなく、グリッドベースのニューラルフィールドを使用して、視点依存の色をコンパクトかつ効果的に表現します。最後に、残差ベクトル量子化を用いて幾何学的および時間的属性をコンパクトに表現するためのコードブックを学習します。量子化やエントロピー符号化などのモデル圧縮技術を用いることで、静的シーンにおいて3DGSと比較して25倍以上のストレージ削減とレンダリング速度の向上を一貫して示し、シーン表現の品質を維持します。動的シーンにおいては、既存の最先端手法と比較して12倍以上のストレージ効率を達成し、高品質な再構築を保持します。我々の研究は、高性能、高速な学習、コンパクトさ、リアルタイムレンダリングを実現する3Dシーン表現の包括的なフレームワークを提供します。プロジェクトページはhttps://maincold2.github.io/c3dgs/で公開されています。

English

3D Gaussian splatting (3DGS) has recently emerged as an alternative representation that leverages a 3D Gaussian-based representation and introduces an approximated volumetric rendering, achieving very fast rendering speed and promising image quality. Furthermore, subsequent studies have successfully extended 3DGS to dynamic 3D scenes, demonstrating its wide range of applications. However, a significant drawback arises as 3DGS and its following methods entail a substantial number of Gaussians to maintain the high fidelity of the rendered images, which requires a large amount of memory and storage. To address this critical issue, we place a specific emphasis on two key objectives: reducing the number of Gaussian points without sacrificing performance and compressing the Gaussian attributes, such as view-dependent color and covariance. To this end, we propose a learnable mask strategy that significantly reduces the number of Gaussians while preserving high performance. In addition, we propose a compact but effective representation of view-dependent color by employing a grid-based neural field rather than relying on spherical harmonics. Finally, we learn codebooks to compactly represent the geometric and temporal attributes by residual vector quantization. With model compression techniques such as quantization and entropy coding, we consistently show over 25x reduced storage and enhanced rendering speed compared to 3DGS for static scenes, while maintaining the quality of the scene representation. For dynamic scenes, our approach achieves more than 12x storage efficiency and retains a high-quality reconstruction compared to the existing state-of-the-art methods. Our work provides a comprehensive framework for 3D scene representation, achieving high performance, fast training, compactness, and real-time rendering. Our project page is available at https://maincold2.github.io/c3dgs/.