NeuralGS: Объединение нейронных полей и 3D-гауссовского сплаттинга для компактных 3D-представлений

NeuralGS: Bridging Neural Fields and 3D Gaussian Splatting for Compact 3D Representations

March 29, 2025

Авторы: Zhenyu Tang, Chaoran Feng, Xinhua Cheng, Wangbo Yu, Junwu Zhang, Yuan Liu, Xiaoxiao Long, Wenping Wang, Li Yuan

cs.AI

Аннотация

3D Gaussian Splatting (3DGS) демонстрирует превосходное качество и скорость рендеринга, однако требует использования миллионов 3D-гауссов и значительных затрат на хранение и передачу данных. Современные методы сжатия 3DGS в основном сосредоточены на сжатии Scaffold-GS, достигая впечатляющих результатов, но за счет использования дополнительной воксельной структуры и сложной стратегии кодирования и квантования. В данной работе мы стремимся разработать простой, но эффективный метод под названием NeuralGS, который исследует альтернативный подход к сжатию исходного 3DGS в компактное представление без использования воксельной структуры и сложных стратегий квантования. Мы отмечаем, что нейронные поля, такие как NeRF, могут представлять сложные 3D-сцены с помощью многослойных перцептронов (MLP), используя всего несколько мегабайт. Таким образом, NeuralGS эффективно применяет представление нейронных полей для кодирования атрибутов 3D-гауссов с использованием MLP, что требует минимального объема памяти даже для крупномасштабных сцен. Для достижения этого мы используем стратегию кластеризации и аппроксимируем гауссовы с помощью различных небольших MLP для каждого кластера, основываясь на важности гауссов в качестве весов аппроксимации. Мы проводим эксперименты на нескольких наборах данных, достигая в среднем 45-кратного уменьшения размера модели без ущерба для визуального качества. Результаты сжатия нашего метода для исходного 3DGS сопоставимы с методами, разработанными специально для Scaffold-GS, что демонстрирует огромный потенциал прямого сжатия исходного 3DGS с использованием нейронных полей.

English

3D Gaussian Splatting (3DGS) demonstrates superior quality and rendering speed, but with millions of 3D Gaussians and significant storage and transmission costs. Recent 3DGS compression methods mainly concentrate on compressing Scaffold-GS, achieving impressive performance but with an additional voxel structure and a complex encoding and quantization strategy. In this paper, we aim to develop a simple yet effective method called NeuralGS that explores in another way to compress the original 3DGS into a compact representation without the voxel structure and complex quantization strategies. Our observation is that neural fields like NeRF can represent complex 3D scenes with Multi-Layer Perceptron (MLP) neural networks using only a few megabytes. Thus, NeuralGS effectively adopts the neural field representation to encode the attributes of 3D Gaussians with MLPs, only requiring a small storage size even for a large-scale scene. To achieve this, we adopt a clustering strategy and fit the Gaussians with different tiny MLPs for each cluster, based on importance scores of Gaussians as fitting weights. We experiment on multiple datasets, achieving a 45-times average model size reduction without harming the visual quality. The compression performance of our method on original 3DGS is comparable to the dedicated Scaffold-GS-based compression methods, which demonstrate the huge potential of directly compressing original 3DGS with neural fields.