Mobile-GS: Гауссово размытие в реальном времени для мобильных устройств

Mobile-GS: Real-time Gaussian Splatting for Mobile Devices

March 12, 2026

Авторы: Xiaobiao Du, Yida Wang, Kun Zhan, Xin Yu

cs.AI

Аннотация

3D-гауссово размытие (3DGS) стало мощным представлением для высококачественной визуализации в широком спектре приложений. Однако его высокие вычислительные требования и значительные затраты на хранение данных создают серьезные проблемы для развертывания на мобильных устройствах. В данной работе мы предлагаем метод гауссова размытия в реальном времени, адаптированный для мобильных платформ, под названием Mobile-GS, который позволяет эффективно выполнять вывод гауссова размытия на периферийных устройствах. В частности, мы сначала выявляем альфа-смешение как основное вычислительное узкое место, поскольку оно зависит от трудоемкого процесса сортировки гауссовых примитивов по глубине. Для решения этой проблемы мы предлагаем схему рендеринга, не зависящую от порядка, но учитывающую глубину, которая устраняет необходимость в сортировке, тем самым значительно ускоряя визуализацию. Хотя такой рендеринг, не зависящий от порядка, повышает скорость, он может приводить к артефактам прозрачности в областях с перекрывающейся геометрией из-за отсутствия определенного порядка отрисовки. Чтобы устранить эту проблему, мы предлагаем стратегию нейросетевого улучшения с учетом вида, которая позволяет более точно моделировать зависящие от точки наблюдения эффекты, обусловленные направлением обзора, геометрией 3D-гауссовых примитивов и атрибутами внешнего вида. Таким образом, Mobile-GS позволяет достичь как высокого качества, так и рендеринга в реальном времени. Кроме того, для облегчения развертывания на мобильных платформах с ограниченной памятью мы также вводим дистилляцию сферических гармоник первого порядка, технику нейросетевого векторного квантования и стратегию прореживания на основе вклада для сокращения количества гауссовых примитивов и сжатия представления 3D-гауссовых функций с помощью нейронных сетей. Многочисленные эксперименты показывают, что наш метод Mobile-GS обеспечивает рендеринг в реальном времени и компактный размер модели при сохранении высокого визуального качества, что делает его хорошо подходящим для мобильных приложений.

English

3D Gaussian Splatting (3DGS) has emerged as a powerful representation for high-quality rendering across a wide range of applications.However, its high computational demands and large storage costs pose significant challenges for deployment on mobile devices. In this work, we propose a mobile-tailored real-time Gaussian Splatting method, dubbed Mobile-GS, enabling efficient inference of Gaussian Splatting on edge devices. Specifically, we first identify alpha blending as the primary computational bottleneck, since it relies on the time-consuming Gaussian depth sorting process. To solve this issue, we propose a depth-aware order-independent rendering scheme that eliminates the need for sorting, thereby substantially accelerating rendering. Although this order-independent rendering improves rendering speed, it may introduce transparency artifacts in regions with overlapping geometry due to the scarcity of rendering order. To address this problem, we propose a neural view-dependent enhancement strategy, enabling more accurate modeling of view-dependent effects conditioned on viewing direction, 3D Gaussian geometry, and appearance attributes. In this way, Mobile-GS can achieve both high-quality and real-time rendering. Furthermore, to facilitate deployment on memory-constrained mobile platforms, we also introduce first-order spherical harmonics distillation, a neural vector quantization technique, and a contribution-based pruning strategy to reduce the number of Gaussian primitives and compress the 3D Gaussian representation with the assistance of neural networks. Extensive experiments demonstrate that our proposed Mobile-GS achieves real-time rendering and compact model size while preserving high visual quality, making it well-suited for mobile applications.