Mobile-GS : Rendu en temps réel par splatting gaussien sur appareils mobiles

Mobile-GS: Real-time Gaussian Splatting for Mobile Devices

March 12, 2026

Auteurs: Xiaobiao Du, Yida Wang, Kun Zhan, Xin Yu

cs.AI

Résumé

La splatting gaussienne 3D (3DGS) s'est imposée comme une représentation puissante pour le rendu de haute qualité dans un large éventail d'applications. Cependant, ses exigences computationnelles élevées et ses coûts de stockage importants posent des défis majeurs pour son déploiement sur les appareils mobiles. Dans ce travail, nous proposons une méthode de splatting gaussienne en temps réel adaptée aux mobiles, baptisée Mobile-GS, permettant une inférence efficace de la splatting gaussienne sur les appareils embarqués. Plus précisément, nous identifions d'abord le mélange alpha (alpha blending) comme le principal goulot d'étranglement computationnel, car il repose sur le processus chronophage de tri par profondeur des gaussiennes. Pour résoudre ce problème, nous proposons un schéma de rendu indépendant de l'ordre et sensible à la profondeur qui élimine le besoin de tri, accélérant ainsi considérablement le rendu. Bien que ce rendu indépendant de l'ordre améliore la vitesse de rendu, il peut introduire des artefacts de transparence dans les régions où la géométrie se superpose en raison de la rareté de l'ordre de rendu. Pour résoudre ce problème, nous proposons une stratégie d'amélioration neuronale dépendante de la vue, permettant une modélisation plus précise des effets dépendants de la vue conditionnés par la direction d'observation, la géométrie gaussienne 3D et les attributs d'apparence. Ainsi, Mobile-GS peut atteindre à la fois un rendu de haute qualité et en temps réel. De plus, pour faciliter le déploiement sur des plates-formes mobiles à mémoire limitée, nous introduisons également une distillation des harmoniques sphériques du premier ordre, une technique de quantification vectorielle neuronale et une stratégie d'élagage basée sur la contribution pour réduire le nombre de primitives gaussiennes et compresser la représentation gaussienne 3D à l'aide de réseaux neuronaux. Des expériences approfondies démontrent que notre méthode Mobile-GS atteint un rendu en temps réel et une taille de modèle compacte tout en préservant une qualité visuelle élevée, la rendant ainsi particulièrement adaptée aux applications mobiles.

English

3D Gaussian Splatting (3DGS) has emerged as a powerful representation for high-quality rendering across a wide range of applications.However, its high computational demands and large storage costs pose significant challenges for deployment on mobile devices. In this work, we propose a mobile-tailored real-time Gaussian Splatting method, dubbed Mobile-GS, enabling efficient inference of Gaussian Splatting on edge devices. Specifically, we first identify alpha blending as the primary computational bottleneck, since it relies on the time-consuming Gaussian depth sorting process. To solve this issue, we propose a depth-aware order-independent rendering scheme that eliminates the need for sorting, thereby substantially accelerating rendering. Although this order-independent rendering improves rendering speed, it may introduce transparency artifacts in regions with overlapping geometry due to the scarcity of rendering order. To address this problem, we propose a neural view-dependent enhancement strategy, enabling more accurate modeling of view-dependent effects conditioned on viewing direction, 3D Gaussian geometry, and appearance attributes. In this way, Mobile-GS can achieve both high-quality and real-time rendering. Furthermore, to facilitate deployment on memory-constrained mobile platforms, we also introduce first-order spherical harmonics distillation, a neural vector quantization technique, and a contribution-based pruning strategy to reduce the number of Gaussian primitives and compress the 3D Gaussian representation with the assistance of neural networks. Extensive experiments demonstrate that our proposed Mobile-GS achieves real-time rendering and compact model size while preserving high visual quality, making it well-suited for mobile applications.