Monte Carlo-energieaggregatie voor mobiele 3D-gaussische splatting

Samenvatting

Recente vooruitgang in 3D Gaussian Splatting heeft ongekend succes laten zien in novel view synthesis. De aanzienlijke overhead voor inferentie en opslag door hoogwaardige sferische harmonischen (SH) vormt echter een belangrijke bottleneck voor mobiele platforms. In dit artikel presenteren we Flux-GS, een real-time Gaussian Splatting-methode die is ontworpen om hoge-getrouwheidweergave te bereiken met aanzienlijk lagere overhead voor resource-beperkte mobiele platforms. We stellen eerst een Monte Carlo Specular Energy Aggregator voor, die derde-orde radiance-residuen bemonstert en speculaire energie aggregeert in een compacte latente ruimte. Op deze manier behoudt onze methode effectief visueel opvallende belichtingskenmerken in lagere-orde banden zonder dure distillatie of voorafgaande training. Om de hoogfrequente details te beperken die tijdens compressie verloren gaan, introduceren we een Attribute-Conditioned SH Enhancement-module. Deze module voorspelt Gaussian-bewuste offsets op basis van intrinsieke Gaussian-attributen, die de eerste-orde SH-representatie verbeteren vóór inferentie, zonder extra inferentiekosten. Bovendien is de oorspronkelijke, op single-view gradiënt gebaseerde verdichting geneigd om overmatige Gaussians te produceren en overaanpassing aan een bepaalde weergave te veroorzaken. We pakken deze beperkingen aan door een Multi-view Alpha-based Densification and Pruning-strategie voor te stellen. Door gebruik te maken van multiview-sturing zorgen we voor multiview-structuurconsistentie en het nauwkeurig verwijderen van redundante primitieven. Uitgebreide experimenten tonen aan dat Flux-GS een aanzienlijke parameterreductie bereikt met behoud van concurrerende visuele kwaliteit, wat een robuuste en schaalbare oplossing biedt voor real-time mobiele weergave. Code: https://xiaobiaodu.github.io/flux-gs-project/

English

Recent advances in 3D Gaussian Splatting have demonstrated unprecedented success in novel view synthesis. However, the substantial inference and storage overhead driven by high-order Spherical Harmonics (SH) are primary bottlenecks for mobile platforms. In this paper, we present Flux-GS, a real-time Gaussian Splatting method designed to achieve high-fidelity rendering with significantly reduced overhead for resource-constrained mobile platforms. We first propose a Monte Carlo Specular Energy Aggregator, sampling third-order radiance residuals and aggregating specular energy into a compact latent space. In this way, our method effectively preserves visually salient lighting features in lower-order bands without expensive distillation or pre-training. To mitigate the high-frequency details lost during compression, we introduce an Attribute-Conditioned SH Enhancement module. This module predicts Gaussian-aware offsets based on intrinsic Gaussian attributes, which enhance the first-order SH representation prior to inference, without extra inference costs. Furthermore, the original single-view gradient-based densification is prone to producing excessive Gaussians and overfitting to a certain view. We address these limitations by proposing a Multi-view Alpha-based Densification and Pruning strategy. By leveraging multi-view guidance, we ensure multi-view structure consistency and the precise removal of redundant primitives. Extensive experiments demonstrate that Flux-GS achieves substantial parameter reduction while maintaining competitive visual quality, offering a robust and scalable solution for real-time mobile rendering. Code: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.