Agrégation d'énergie Monte Carlo pour le splatting gaussien 3D mobile

Résumé

Les récentes avancées dans le Gaussian Splatting 3D ont démontré un succès sans précédent pour la synthèse de nouvelles vues. Cependant, le surcoût important d'inférence et de stockage induit par les harmoniques sphériques (SH) d'ordre élevé constitue un obstacle majeur pour les plateformes mobiles. Dans cet article, nous présentons Flux-GS, une méthode de Gaussian Splatting en temps réel conçue pour produire un rendu haute-fidélité avec un surcoût considérablement réduit pour les plateformes mobiles aux ressources limitées. Nous proposons d'abord un agrégateur d'énergie spéculaire de Monte Carlo, qui échantillonne les résidus de radiance de troisième ordre et agrège l'énergie spéculaire dans un espace latent compact. Ainsi, notre méthode préserve efficacement les caractéristiques d'éclairage visuellement saillantes dans les bandes d'ordre inférieur, sans distillation coûteuse ni pré-entraînement. Pour atténuer la perte de détails haute fréquence lors de la compression, nous introduisons un module d'amélioration des SH conditionné par les attributs. Ce module prédit des décalages basés sur les attributs intrinsèques des gaussiennes, ce qui améliore la représentation SH de premier ordre avant l'inférence, sans coût d'inférence supplémentaire. De plus, la densification originale basée sur le gradient d'une seule vue tend à produire un nombre excessif de gaussiennes et à surapprendre une certaine vue. Nous répondons à ces limitations en proposant une stratégie de densification et d'élagage multi-vues basée sur l'alpha. En exploitant le guidage multi-vues, nous garantissons la cohérence structurelle multi-vues et la suppression précise des primitives redondantes. Des expériences approfondies montrent que Flux-GS parvient à une réduction substantielle des paramètres tout en maintenant une qualité visuelle compétitive, offrant une solution robuste et extensible pour le rendu mobile en temps réel. Code : magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.

English

Recent advances in 3D Gaussian Splatting have demonstrated unprecedented success in novel view synthesis. However, the substantial inference and storage overhead driven by high-order Spherical Harmonics (SH) are primary bottlenecks for mobile platforms. In this paper, we present Flux-GS, a real-time Gaussian Splatting method designed to achieve high-fidelity rendering with significantly reduced overhead for resource-constrained mobile platforms. We first propose a Monte Carlo Specular Energy Aggregator, sampling third-order radiance residuals and aggregating specular energy into a compact latent space. In this way, our method effectively preserves visually salient lighting features in lower-order bands without expensive distillation or pre-training. To mitigate the high-frequency details lost during compression, we introduce an Attribute-Conditioned SH Enhancement module. This module predicts Gaussian-aware offsets based on intrinsic Gaussian attributes, which enhance the first-order SH representation prior to inference, without extra inference costs. Furthermore, the original single-view gradient-based densification is prone to producing excessive Gaussians and overfitting to a certain view. We address these limitations by proposing a Multi-view Alpha-based Densification and Pruning strategy. By leveraging multi-view guidance, we ensure multi-view structure consistency and the precise removal of redundant primitives. Extensive experiments demonstrate that Flux-GS achieves substantial parameter reduction while maintaining competitive visual quality, offering a robust and scalable solution for real-time mobile rendering. Code: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.