Monte-Carlo-Energieaggregation für mobiles 3D-Gauß-Splatting

Zusammenfassung

Aktuelle Fortschritte im Bereich des 3D-Gaussian-Splatting haben beispiellose Erfolge bei der Neuansichtssynthese erzielt. Allerdings stellen der hohe Rechen- und Speicheraufwand, der durch sphärische Harmonische (SH) höherer Ordnung verursacht wird, die Hauptengpässe für mobile Plattformen dar. In dieser Arbeit präsentieren wir Flux-GS, eine Echtzeit-Gaussian-Splatting-Methode, die für eine hochgenaue Wiedergabe bei deutlich reduziertem Aufwand auf ressourcenbeschränkten mobilen Plattformen ausgelegt ist. Zunächst schlagen wir einen Monte-Carlo-Spekularenergie-Aggregator vor, der Radianzresiduen dritter Ordnung abtastet und die spekulare Energie in einen kompakten latenten Raum aggregiert. Auf diese Weise bewahrt unsere Methode visuell bedeutsame Lichtmerkmale in Bändern niedrigerer Ordnung, ohne aufwändige Destillation oder Vortraining. Um die bei der Kompression verlorengegangenen hochfrequenten Details auszugleichen, führen wir ein attributbedingtes SH-Verbesserungsmodul ein. Dieses Modul sagt gaußbewusste Versätze auf der Grundlage intrinsischer Gauß-Attribute voraus, die die SH-Darstellung erster Ordnung vor der Inferenz verbessern, ohne zusätzliche Inferenzkosten. Darüber hinaus neigt die ursprüngliche, auf Einzelansichten basierende gradientenbasierte Verdichtung dazu, übermäßige Gauß-Primitive zu erzeugen und sich an eine bestimmte Ansicht anzupassen. Wir beheben diese Einschränkungen durch die Einführung einer mehrfachansichtsbasierten Alpha-Verdichtungs- und Pruning-Strategie. Durch die Nutzung von Mehrfachansichts-Führung stellen wir die Konsistenz der Mehrfachansichts-Struktur und die präzise Entfernung redundanter Primitive sicher. Umfangreiche Experimente belegen, dass Flux-GS eine erhebliche Parameterreduktion bei gleichbleibend hoher visueller Qualität erzielt und somit eine robuste und skalierbare Lösung für die mobile Echtzeitdarstellung bietet. Code: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.

English

Recent advances in 3D Gaussian Splatting have demonstrated unprecedented success in novel view synthesis. However, the substantial inference and storage overhead driven by high-order Spherical Harmonics (SH) are primary bottlenecks for mobile platforms. In this paper, we present Flux-GS, a real-time Gaussian Splatting method designed to achieve high-fidelity rendering with significantly reduced overhead for resource-constrained mobile platforms. We first propose a Monte Carlo Specular Energy Aggregator, sampling third-order radiance residuals and aggregating specular energy into a compact latent space. In this way, our method effectively preserves visually salient lighting features in lower-order bands without expensive distillation or pre-training. To mitigate the high-frequency details lost during compression, we introduce an Attribute-Conditioned SH Enhancement module. This module predicts Gaussian-aware offsets based on intrinsic Gaussian attributes, which enhance the first-order SH representation prior to inference, without extra inference costs. Furthermore, the original single-view gradient-based densification is prone to producing excessive Gaussians and overfitting to a certain view. We address these limitations by proposing a Multi-view Alpha-based Densification and Pruning strategy. By leveraging multi-view guidance, we ensure multi-view structure consistency and the precise removal of redundant primitives. Extensive experiments demonstrate that Flux-GS achieves substantial parameter reduction while maintaining competitive visual quality, offering a robust and scalable solution for real-time mobile rendering. Code: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.