NeuralGS: 컴팩트한 3D 표현을 위한 신경망 필드와 3D 가우시안 스플래팅의 융합

NeuralGS: Bridging Neural Fields and 3D Gaussian Splatting for Compact 3D Representations

March 29, 2025

저자: Zhenyu Tang, Chaoran Feng, Xinhua Cheng, Wangbo Yu, Junwu Zhang, Yuan Liu, Xiaoxiao Long, Wenping Wang, Li Yuan

cs.AI

초록

3D Gaussian Splatting(3DGS)은 우수한 품질과 렌더링 속도를 보여주지만, 수백만 개의 3D 가우시안과 상당한 저장 및 전송 비용이 발생합니다. 최근의 3DGS 압축 방법은 주로 Scaffold-GS를 압축하는 데 집중하여 인상적인 성능을 달성했지만, 추가적인 복셀 구조와 복잡한 인코딩 및 양자화 전략이 필요했습니다. 본 논문에서는 복셀 구조와 복잡한 양자화 전략 없이 원본 3DGS를 간결한 표현으로 압축하는 새로운 방법인 NeuralGS를 개발하고자 합니다. 우리는 NeRF와 같은 신경 필드가 Multi-Layer Perceptron(MLP) 신경망을 사용하여 복잡한 3D 장면을 단 몇 메가바이트로 표현할 수 있다는 점에 주목했습니다. 따라서 NeuralGS는 신경 필드 표현을 효과적으로 채택하여 3D 가우시안의 속성을 MLP로 인코딩하며, 대규모 장면에서도 작은 저장 공간만을 요구합니다. 이를 위해 클러스터링 전략을 도입하고, 가우시안의 중요도 점수를 가중치로 사용하여 각 클러스터에 대해 서로 다른 소형 MLP로 가우시안을 피팅합니다. 여러 데이터셋에서 실험을 진행한 결과, 시각적 품질을 저하시키지 않으면서 평균 45배의 모델 크기 감소를 달성했습니다. 우리의 방법은 원본 3DGS에 대한 압축 성능이 전용 Scaffold-GS 기반 압축 방법과 비슷한 수준으로, 신경 필드를 사용하여 원본 3DGS를 직접 압축하는 데 큰 잠재력이 있음을 보여줍니다.

English

3D Gaussian Splatting (3DGS) demonstrates superior quality and rendering speed, but with millions of 3D Gaussians and significant storage and transmission costs. Recent 3DGS compression methods mainly concentrate on compressing Scaffold-GS, achieving impressive performance but with an additional voxel structure and a complex encoding and quantization strategy. In this paper, we aim to develop a simple yet effective method called NeuralGS that explores in another way to compress the original 3DGS into a compact representation without the voxel structure and complex quantization strategies. Our observation is that neural fields like NeRF can represent complex 3D scenes with Multi-Layer Perceptron (MLP) neural networks using only a few megabytes. Thus, NeuralGS effectively adopts the neural field representation to encode the attributes of 3D Gaussians with MLPs, only requiring a small storage size even for a large-scale scene. To achieve this, we adopt a clustering strategy and fit the Gaussians with different tiny MLPs for each cluster, based on importance scores of Gaussians as fitting weights. We experiment on multiple datasets, achieving a 45-times average model size reduction without harming the visual quality. The compression performance of our method on original 3DGS is comparable to the dedicated Scaffold-GS-based compression methods, which demonstrate the huge potential of directly compressing original 3DGS with neural fields.