Agregação de Energia Monte Carlo para Splatting Gaussiano 3D Móvel

Resumo

Avanços recentes em Gaussian Splatting 3D demonstraram sucesso sem precedentes na síntese de novas vistas. No entanto, a sobrecarga substancial de inferência e armazenamento causada por Harmônicos Esféricos (SH) de alta ordem constitui o principal gargalo para plataformas móveis. Neste artigo, apresentamos o Flux-GS, um método de Gaussian Splatting em tempo real projetado para obter renderização de alta fidelidade com sobrecarga significativamente reduzida para plataformas móveis com recursos limitados. Primeiramente, propomos um Agregador de Energia Especular de Monte Carlo, que amostra resíduos de radiância de terceira ordem e agrega energia especular em um espaço latente compacto. Dessa forma, nosso método preserva características de iluminação visualmente salientes em bandas de ordem inferior, sem necessidade de destilação ou pré-treinamento caros. Para mitigar a perda de detalhes de alta frequência durante a compressão, introduzimos um Módulo de Aprimoramento de SH Condicionado a Atributos. Esse módulo prevê deslocamentos condicionados a Gaussianas com base em atributos intrínsecos das Gaussianas, os quais aprimoram a representação de SH de primeira ordem antes da inferência, sem custos adicionais de inferência. Além disso, a densificação baseada em gradiente de vista única original é propensa a gerar Gaussianas excessivas e superajustar uma determinada vista. Abordamos essas limitações propondo uma estratégia de Densificação e Poda baseada em Alfa Multivista. Ao aproveitar a orientação multivista, garantimos consistência estrutural multivista e a remoção precisa de primitivas redundantes. Experimentos extensivos demonstram que o Flux-GS alcança uma redução substancial de parâmetros, mantendo qualidade visual competitiva, oferecendo uma solução robusta e escalável para renderização móvel em tempo real. Código: magenta{https://xiaobiaodu.github.io/flux-gs-project/}.

English

Recent advances in 3D Gaussian Splatting have demonstrated unprecedented success in novel view synthesis. However, the substantial inference and storage overhead driven by high-order Spherical Harmonics (SH) are primary bottlenecks for mobile platforms. In this paper, we present Flux-GS, a real-time Gaussian Splatting method designed to achieve high-fidelity rendering with significantly reduced overhead for resource-constrained mobile platforms. We first propose a Monte Carlo Specular Energy Aggregator, sampling third-order radiance residuals and aggregating specular energy into a compact latent space. In this way, our method effectively preserves visually salient lighting features in lower-order bands without expensive distillation or pre-training. To mitigate the high-frequency details lost during compression, we introduce an Attribute-Conditioned SH Enhancement module. This module predicts Gaussian-aware offsets based on intrinsic Gaussian attributes, which enhance the first-order SH representation prior to inference, without extra inference costs. Furthermore, the original single-view gradient-based densification is prone to producing excessive Gaussians and overfitting to a certain view. We address these limitations by proposing a Multi-view Alpha-based Densification and Pruning strategy. By leveraging multi-view guidance, we ensure multi-view structure consistency and the precise removal of redundant primitives. Extensive experiments demonstrate that Flux-GS achieves substantial parameter reduction while maintaining competitive visual quality, offering a robust and scalable solution for real-time mobile rendering. Code: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.