Agregación de Energía Monte Carlo para Splatting Gaussiano 3D Móvil

Resumen

Recientes avances en el difuminado gaussiano 3D han demostrado un éxito sin precedentes en la síntesis de nuevas vistas. Sin embargo, la considerable sobrecarga de inferencia y almacenamiento derivada de los Armónicos Esféricos (SH) de alto orden constituye un cuello de botella principal para plataformas móviles. En este artículo presentamos Flux-GS, un método de difuminado gaussiano en tiempo real diseñado para lograr renderizado de alta fidelidad con una sobrecarga significativamente reducida para plataformas móviles con recursos limitados. Primero proponemos un Agregador de Energía Especular Monte Carlo, que muestrea residuos de radiancia de tercer orden y agrega energía especular en un espacio latente compacto. De esta forma, nuestro método preserva eficazmente las características de iluminación visualmente destacadas en bandas de orden inferior, sin necesidad de costosos procesos de destilación o preentrenamiento. Para mitigar la pérdida de detalles de alta frecuencia durante la compresión, introducimos un módulo de Mejora de SH Condicionada por Atributos. Este módulo predice desplazamientos dependientes del gaussiano basados en atributos gaussianos intrínsecos, que mejoran la representación SH de primer orden antes de la inferencia, sin costes adicionales de inferencia. Además, la densificación original basada en gradientes de una sola vista tiende a producir gaussianos excesivos y a sobreadaptarse a una vista determinada. Abordamos estas limitaciones proponiendo una estrategia de Densificación y Poda Basada en Alfa Multivista. Aprovechando la guía multivista, aseguramos la consistencia estructural entre vistas y la eliminación precisa de primitivas redundantes. Extensos experimentos demuestran que Flux-GS logra una reducción sustancial de parámetros mientras mantiene una calidad visual competitiva, ofreciendo una solución robusta y escalable para renderizado móvil en tiempo real. Código: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.

English

Recent advances in 3D Gaussian Splatting have demonstrated unprecedented success in novel view synthesis. However, the substantial inference and storage overhead driven by high-order Spherical Harmonics (SH) are primary bottlenecks for mobile platforms. In this paper, we present Flux-GS, a real-time Gaussian Splatting method designed to achieve high-fidelity rendering with significantly reduced overhead for resource-constrained mobile platforms. We first propose a Monte Carlo Specular Energy Aggregator, sampling third-order radiance residuals and aggregating specular energy into a compact latent space. In this way, our method effectively preserves visually salient lighting features in lower-order bands without expensive distillation or pre-training. To mitigate the high-frequency details lost during compression, we introduce an Attribute-Conditioned SH Enhancement module. This module predicts Gaussian-aware offsets based on intrinsic Gaussian attributes, which enhance the first-order SH representation prior to inference, without extra inference costs. Furthermore, the original single-view gradient-based densification is prone to producing excessive Gaussians and overfitting to a certain view. We address these limitations by proposing a Multi-view Alpha-based Densification and Pruning strategy. By leveraging multi-view guidance, we ensure multi-view structure consistency and the precise removal of redundant primitives. Extensive experiments demonstrate that Flux-GS achieves substantial parameter reduction while maintaining competitive visual quality, offering a robust and scalable solution for real-time mobile rendering. Code: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.