Монте-Карло агрегация энергии для мобильного 3D-гауссова разбрызгивания

Аннотация

Недавние достижения в области 3D-гауссова всплескового представления продемонстрировали беспрецедентный успех в синтезе новых видов. Однако значительные накладные расходы при выводе и хранении, обусловленные сферическими гармониками (СГ) высокого порядка, являются основными узкими местами для мобильных платформ. В этой статье мы представляем Flux-GS — метод реального времени на основе гауссова всплескового представления, предназначенный для достижения рендеринга высокого качества со значительно сниженными накладными расходами для мобильных платформ с ограниченными ресурсами. Сначала мы предлагаем агрегатор энергии зеркального отражения Монте-Карло, который производит выборку остаточных величин яркости третьего порядка и агрегирует энергию зеркального отражения в компактное скрытое пространство. Таким образом, наш метод эффективно сохраняет визуально значимые особенности освещения в полосах низкого порядка без дорогостоящей дистилляции или предварительного обучения. Чтобы смягчить потерю высокочастотных деталей при сжатии, мы вводим модуль улучшения СГ, обусловленный атрибутами. Этот модуль предсказывает смещения, учитывающие гауссианы, на основе внутренних атрибутов гауссианов, которые улучшают представление СГ первого порядка перед выводом без дополнительных затрат на вывод. Кроме того, исходное уплотнение на основе градиента с одним видом склонно к созданию избыточных гауссианов и переобучению на определенном виде. Мы решаем эти ограничения, предлагая стратегию многовидового уплотнения и прореживания на основе альфа. Используя многовидовое руководство, мы обеспечиваем согласованность структуры по множеству видов и точное удаление избыточных примитивов. Обширные эксперименты показывают, что Flux-GS достигает существенного сокращения параметров при сохранении конкурентоспособного визуального качества, предлагая надежное и масштабируемое решение для рендеринга в реальном времени на мобильных устройствах. Код: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.

English

Recent advances in 3D Gaussian Splatting have demonstrated unprecedented success in novel view synthesis. However, the substantial inference and storage overhead driven by high-order Spherical Harmonics (SH) are primary bottlenecks for mobile platforms. In this paper, we present Flux-GS, a real-time Gaussian Splatting method designed to achieve high-fidelity rendering with significantly reduced overhead for resource-constrained mobile platforms. We first propose a Monte Carlo Specular Energy Aggregator, sampling third-order radiance residuals and aggregating specular energy into a compact latent space. In this way, our method effectively preserves visually salient lighting features in lower-order bands without expensive distillation or pre-training. To mitigate the high-frequency details lost during compression, we introduce an Attribute-Conditioned SH Enhancement module. This module predicts Gaussian-aware offsets based on intrinsic Gaussian attributes, which enhance the first-order SH representation prior to inference, without extra inference costs. Furthermore, the original single-view gradient-based densification is prone to producing excessive Gaussians and overfitting to a certain view. We address these limitations by proposing a Multi-view Alpha-based Densification and Pruning strategy. By leveraging multi-view guidance, we ensure multi-view structure consistency and the precise removal of redundant primitives. Extensive experiments demonstrate that Flux-GS achieves substantial parameter reduction while maintaining competitive visual quality, offering a robust and scalable solution for real-time mobile rendering. Code: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.