Mobile-GS: Echtzeit-Gaussian Splatting für mobile Geräte

Mobile-GS: Real-time Gaussian Splatting for Mobile Devices

March 12, 2026

Autoren: Xiaobiao Du, Yida Wang, Kun Zhan, Xin Yu

cs.AI

Zusammenfassung

3D Gaussian Splatting (3DGS) hat sich als leistungsstarke Repräsentation für hochwertiges Rendering in einer Vielzahl von Anwendungen etabliert. Die hohen Rechenanforderungen und großen Speicherkosten stellen jedoch erhebliche Herausforderungen für den Einsatz auf mobilen Geräten dar. In dieser Arbeit schlagen wir eine auf mobile Geräte zugeschnittene Echtzeit-Gaussian-Splatting-Methode vor, genannt Mobile-GS, die eine effiziente Inferenz von Gaussian Splatting auf Edge-Geräten ermöglicht. Konkret identifizieren wir zunächst Alpha Blending als primären Rechenengpass, da dieses auf den zeitaufwändigen Prozess der Gauß'schen Tiefensortierung angewiesen ist. Um dieses Problem zu lösen, schlagen wir ein tiefenbewusstes, reihenfolgeunabhängiges Rendering-Verfahren vor, das die Notwendigkeit der Sortierung eliminiert und dadurch das Rendering erheblich beschleunigt. Obwohl dieses reihenfolgeunabhängige Rendering die Geschwindigkeit erhöht, kann es in Bereichen mit überlappender Geometrie aufgrund der fehlenden Rendering-Reihenfolge Transparenzartefakte verursachen. Um dieses Problem zu adressieren, schlagen wir eine neuronale, sichtrichtungsabhängige Verbesserungsstrategie vor, die eine genauere Modellierung von sichtrichtungsabhängigen Effekten ermöglicht, die von der Blickrichtung, der 3D-Gauß-Geometrie und den Erscheinungsattributen abhängen. Auf diese Weise kann Mobile-GS sowohl hochwertiges als auch Echtzeit-Rendering erreichen. Darüber hinaus führen wir, um die Bereitstellung auf speicherbeschränkten mobilen Plattformen zu erleichtern, eine Distillation von sphärischen Harmoniken erster Ordnung, eine neuronale Vektorquantisierungstechnik und eine beitragsbasiere Reduktionsstrategie ein, um die Anzahl der Gauß-Primitive zu verringern und die 3D-Gauß-Repräsentation mit Hilfe neuronaler Netze zu komprimieren. Umfangreiche Experimente belegen, dass unser vorgeschlagenes Mobile-GS Echtzeit-Rendering und eine kompakte Modellgröße bei Erhalt hoher visueller Qualität erreicht, was es ideal für mobile Anwendungen macht.

English

3D Gaussian Splatting (3DGS) has emerged as a powerful representation for high-quality rendering across a wide range of applications.However, its high computational demands and large storage costs pose significant challenges for deployment on mobile devices. In this work, we propose a mobile-tailored real-time Gaussian Splatting method, dubbed Mobile-GS, enabling efficient inference of Gaussian Splatting on edge devices. Specifically, we first identify alpha blending as the primary computational bottleneck, since it relies on the time-consuming Gaussian depth sorting process. To solve this issue, we propose a depth-aware order-independent rendering scheme that eliminates the need for sorting, thereby substantially accelerating rendering. Although this order-independent rendering improves rendering speed, it may introduce transparency artifacts in regions with overlapping geometry due to the scarcity of rendering order. To address this problem, we propose a neural view-dependent enhancement strategy, enabling more accurate modeling of view-dependent effects conditioned on viewing direction, 3D Gaussian geometry, and appearance attributes. In this way, Mobile-GS can achieve both high-quality and real-time rendering. Furthermore, to facilitate deployment on memory-constrained mobile platforms, we also introduce first-order spherical harmonics distillation, a neural vector quantization technique, and a contribution-based pruning strategy to reduce the number of Gaussian primitives and compress the 3D Gaussian representation with the assistance of neural networks. Extensive experiments demonstrate that our proposed Mobile-GS achieves real-time rendering and compact model size while preserving high visual quality, making it well-suited for mobile applications.