모바일 3D 가우시안 스플래팅을 위한 몬테카를로 에너지 집계

초록

최근 3D 가우시안 스플래팅(3D Gaussian Splatting)의 발전은 새로운 시점 합성(new view synthesis)에서 전례 없는 성공을 보여주고 있다. 그러나 고차 구면 조화 함수(Spherical Harmonics, SH)로 인한 상당한 추론 및 저장 오버헤드는 모바일 플랫폼의 주요 병목 현상이다. 본 논문에서는 리소스가 제한된 모바일 플랫폼을 위해 오버헤드를 크게 줄이면서 고품질 렌더링을 달성하도록 설계된 실시간 가우시안 스플래팅 방법인 Flux-GS를 제시한다. 먼저, 몬테카를로 반사 에너지 집계기(Monte Carlo Specular Energy Aggregator)를 제안하여 3차 방사 잔차(radiance residuals)를 샘플링하고 반사 에너지를 컴팩트한 잠재 공간(latent space)에 집계한다. 이를 통해 본 방법은 값비싼 증류(distillation)나 사전 학습 없이도 낮은 차수의 밴드에서 시각적으로 두드러진 조명 특징을 효과적으로 보존한다. 압축 중 손실된 고주파 세부 정보를 완화하기 위해 속성 조건부 SH 향상 모듈(Attribute-Conditioned SH Enhancement module)을 도입한다. 이 모듈은 본질적인 가우시안 속성에 기반하여 가우시안 인식 오프셋(Gaussian-aware offsets)을 예측함으로써 추가 추론 비용 없이 추론 전에 1차 SH 표현을 향상시킨다. 또한, 기존의 단일 뷰 기반 기울기 밀집화(densification)는 과도한 가우시안을 생성하고 특정 뷰에 과적합(overfitting)되기 쉽다. 이러한 한계를 극복하기 위해 다중 뷰 알파 기반 밀집화 및 가지치기 전략(Multi-view Alpha-based Densification and Pruning strategy)을 제안한다. 다중 뷰 가이던스를 활용함으로써 다중 뷰 구조 일관성을 보장하고 중복 원시 요소를 정밀하게 제거한다. 광범위한 실험을 통해 Flux-GS가 경쟁력 있는 시각적 품질을 유지하면서도 상당한 매개변수 감소를 달성하여 실시간 모바일 렌더링을 위한 강력하고 확장 가능한 솔루션을 제공함을 입증한다. 코드: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.

English

Recent advances in 3D Gaussian Splatting have demonstrated unprecedented success in novel view synthesis. However, the substantial inference and storage overhead driven by high-order Spherical Harmonics (SH) are primary bottlenecks for mobile platforms. In this paper, we present Flux-GS, a real-time Gaussian Splatting method designed to achieve high-fidelity rendering with significantly reduced overhead for resource-constrained mobile platforms. We first propose a Monte Carlo Specular Energy Aggregator, sampling third-order radiance residuals and aggregating specular energy into a compact latent space. In this way, our method effectively preserves visually salient lighting features in lower-order bands without expensive distillation or pre-training. To mitigate the high-frequency details lost during compression, we introduce an Attribute-Conditioned SH Enhancement module. This module predicts Gaussian-aware offsets based on intrinsic Gaussian attributes, which enhance the first-order SH representation prior to inference, without extra inference costs. Furthermore, the original single-view gradient-based densification is prone to producing excessive Gaussians and overfitting to a certain view. We address these limitations by proposing a Multi-view Alpha-based Densification and Pruning strategy. By leveraging multi-view guidance, we ensure multi-view structure consistency and the precise removal of redundant primitives. Extensive experiments demonstrate that Flux-GS achieves substantial parameter reduction while maintaining competitive visual quality, offering a robust and scalable solution for real-time mobile rendering. Code: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.