CompGS: Эффективное представление трехмерной сцены с помощью сжатого гауссовского сплетения.

CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting

April 15, 2024

Авторы: Xiangrui Liu, Xinju Wu, Pingping Zhang, Shiqi Wang, Zhu Li, Sam Kwong

cs.AI

Аннотация

Гауссово сглаживание, известное своим выдающимся качеством визуализации и эффективностью, стало одной из ведущих техник представления трехмерных сцен. Однако значительный объем данных, необходимый для Гауссова сглаживания, затрудняет его практическое использование в реальных приложениях. В данной работе мы предлагаем эффективное представление трехмерных сцен, названное Сжатое Гауссово сглаживание (CompGS), которое использует компактные гауссовы примитивы для точного моделирования трехмерных сцен с значительно уменьшенным объемом данных. Для обеспечения компактности гауссовых примитивов мы разрабатываем гибридную структуру примитивов, которая улавливает предсказательные отношения между ними. Затем мы используем небольшой набор опорных примитивов для прогнозирования, позволяя большинству примитивов быть включенными в высоко компактные остаточные формы. Более того, мы разрабатываем схему оптимизации с ограничением по битрейту для устранения избыточностей в таких гибридных примитивах, направляя наше CompGS к оптимальному балансу между потреблением битрейта и эффективностью представления. Экспериментальные результаты показывают, что предложенный CompGS значительно превосходит существующие методы, достигая превосходной компактности в представлении трехмерных сцен без ущерба точности модели и качества визуализации. Наш код будет опубликован на GitHub для дальнейших исследований.

English

Gaussian splatting, renowned for its exceptional rendering quality and efficiency, has emerged as a prominent technique in 3D scene representation. However, the substantial data volume of Gaussian splatting impedes its practical utility in real-world applications. Herein, we propose an efficient 3D scene representation, named Compressed Gaussian Splatting (CompGS), which harnesses compact Gaussian primitives for faithful 3D scene modeling with a remarkably reduced data size. To ensure the compactness of Gaussian primitives, we devise a hybrid primitive structure that captures predictive relationships between each other. Then, we exploit a small set of anchor primitives for prediction, allowing the majority of primitives to be encapsulated into highly compact residual forms. Moreover, we develop a rate-constrained optimization scheme to eliminate redundancies within such hybrid primitives, steering our CompGS towards an optimal trade-off between bitrate consumption and representation efficacy. Experimental results show that the proposed CompGS significantly outperforms existing methods, achieving superior compactness in 3D scene representation without compromising model accuracy and rendering quality. Our code will be released on GitHub for further research.