モバイル3Dガウシアンスプラッティングのためのモンテカルロエネルギー集約

要旨

近年、3D Gaussian Splattingの進歩により、新規視点合成において前例のない成果が達成されている。しかし、高次球面調和関数（SH）に起因する推論およびストレージの大幅なオーバーヘッドが、モバイルプラットフォームにおける主要なボトルネックとなっている。本論文では、リソース制約のあるモバイルプラットフォーム向けに、オーバーヘッドを大幅に削減しつつ高忠実度レンダリングを実現するリアルタイムGaussian Splatting手法、Flux-GSを提案する。まず、モンテカルロ鏡面エネルギー集約器（Monte Carlo Specular Energy Aggregator）を導入し、3次の放射輝度残差をサンプリングして鏡面エネルギーをコンパクトな潜在空間に集約する。これにより、高コストな蒸留や事前学習を必要とせず、視覚的に顕著な照明特徴を低次バンドで効果的に保持する。圧縮時に失われる高周波詳細を補うため、属性条件付きSH拡張モジュール（Attribute-Conditioned SH Enhancement module）を導入する。このモジュールは、本質的なガウス属性に基づいてガウス認識オフセットを予測し、推論前に1次SH表現を拡張する。これにより、追加の推論コストは発生しない。さらに、従来の単一視点勾配ベースの高密度化は、過剰なガウスを生成し、特定の視点に過適合する傾向がある。これらの限界に対処するため、多視点アルファベースの高密度化および枝刈り戦略（Multi-view Alpha-based Densification and Pruning strategy）を提案する。多視点ガイダンスを活用することで、多視点構造の一貫性と冗長プリミティブの正確な除去を実現する。広範な実験により、Flux-GSは競争力のある画質を維持しながらパラメータ数を大幅に削減し、リアルタイムモバイルレンダリングのための堅牢でスケーラブルなソリューションを提供することを示す。コード: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}

English

Recent advances in 3D Gaussian Splatting have demonstrated unprecedented success in novel view synthesis. However, the substantial inference and storage overhead driven by high-order Spherical Harmonics (SH) are primary bottlenecks for mobile platforms. In this paper, we present Flux-GS, a real-time Gaussian Splatting method designed to achieve high-fidelity rendering with significantly reduced overhead for resource-constrained mobile platforms. We first propose a Monte Carlo Specular Energy Aggregator, sampling third-order radiance residuals and aggregating specular energy into a compact latent space. In this way, our method effectively preserves visually salient lighting features in lower-order bands without expensive distillation or pre-training. To mitigate the high-frequency details lost during compression, we introduce an Attribute-Conditioned SH Enhancement module. This module predicts Gaussian-aware offsets based on intrinsic Gaussian attributes, which enhance the first-order SH representation prior to inference, without extra inference costs. Furthermore, the original single-view gradient-based densification is prone to producing excessive Gaussians and overfitting to a certain view. We address these limitations by proposing a Multi-view Alpha-based Densification and Pruning strategy. By leveraging multi-view guidance, we ensure multi-view structure consistency and the precise removal of redundant primitives. Extensive experiments demonstrate that Flux-GS achieves substantial parameter reduction while maintaining competitive visual quality, offering a robust and scalable solution for real-time mobile rendering. Code: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.