Гауссовское изображение: представление изображения и сжатие на 1000 кадров в секунду с помощью двумерного гауссовского сглаживания.

GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting

March 13, 2024

Авторы: Xinjie Zhang, Xingtong Ge, Tongda Xu, Dailan He, Yan Wang, Hongwei Qin, Guo Lu, Jing Geng, Jun Zhang

cs.AI

Аннотация

Неявные нейронные представления (INR) недавно достигли большого успеха в представлении и сжатии изображений, обеспечивая высокое качество изображения и быструю скорость визуализации от 10 до 1000 кадров в секунду, при наличии достаточных ресурсов GPU. Однако это требование часто затрудняет их использование на устройствах с ограниченной памятью. В ответ на это мы предлагаем новаторскую парадигму представления и сжатия изображений с помощью 2D Гауссовского сплетения, названную GaussianImage. Сначала мы вводим 2D Гауссово распределение для представления изображения, где каждое Гауссово распределение имеет 8 параметров, включая позицию, ковариацию и цвет. Затем мы представляем новый алгоритм визуализации на основе накопленной суммы. Замечательно, что наш метод с использованием минимум в 3 раза меньшего объема памяти GPU и в 5 раз быстрее времени подгонки не только конкурирует с INR (например, WIRE, I-NGP) по производительности представления, но также обеспечивает более быструю скорость визуализации от 1500 до 2000 кадров в секунду независимо от размера параметра. Кроме того, мы интегрируем существующую технику векторного квантования для создания кодека изображений. Экспериментальные результаты показывают, что наш кодек достигает производительности по скорости искажения, сравнимой с сжатием на основе INR, таким как COIN и COIN++, обеспечивая скорость декодирования около 1000 кадров в секунду. Кроме того, предварительное доказательство концепции показывает, что наш кодек превосходит COIN и COIN++ по производительности при использовании частичного кодирования "биты-назад".

English

Implicit neural representations (INRs) recently achieved great success in image representation and compression, offering high visual quality and fast rendering speeds with 10-1000 FPS, assuming sufficient GPU resources are available. However, this requirement often hinders their use on low-end devices with limited memory. In response, we propose a groundbreaking paradigm of image representation and compression by 2D Gaussian Splatting, named GaussianImage. We first introduce 2D Gaussian to represent the image, where each Gaussian has 8 parameters including position, covariance and color. Subsequently, we unveil a novel rendering algorithm based on accumulated summation. Remarkably, our method with a minimum of 3times lower GPU memory usage and 5times faster fitting time not only rivals INRs (e.g., WIRE, I-NGP) in representation performance, but also delivers a faster rendering speed of 1500-2000 FPS regardless of parameter size. Furthermore, we integrate existing vector quantization technique to build an image codec. Experimental results demonstrate that our codec attains rate-distortion performance comparable to compression-based INRs such as COIN and COIN++, while facilitating decoding speeds of approximately 1000 FPS. Additionally, preliminary proof of concept shows that our codec surpasses COIN and COIN++ in performance when using partial bits-back coding.