GaussianImage: Representação e Compressão de Imagens a 1000 FPS por Splatting 2D de Gaussianas

GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting

March 13, 2024

Autores: Xinjie Zhang, Xingtong Ge, Tongda Xu, Dailan He, Yan Wang, Hongwei Qin, Guo Lu, Jing Geng, Jun Zhang

cs.AI

Resumo

As representações neurais implícitas (INRs, do inglês Implicit Neural Representations) recentemente alcançaram grande sucesso na representação e compressão de imagens, oferecendo alta qualidade visual e velocidades de renderização rápidas, variando entre 10 e 1000 FPS, desde que haja recursos suficientes de GPU disponíveis. No entanto, essa exigência frequentemente limita seu uso em dispositivos de baixo desempenho com memória limitada. Em resposta, propomos um paradigma inovador de representação e compressão de imagens por meio de *2D Gaussian Splatting*, denominado GaussianImage. Primeiramente, introduzimos a Gaussiana 2D para representar a imagem, onde cada Gaussiana possui 8 parâmetros, incluindo posição, covariância e cor. Em seguida, apresentamos um novo algoritmo de renderização baseado em soma acumulada. Notavelmente, nosso método, com um uso de memória GPU pelo menos 3 vezes menor e tempo de ajuste 5 vezes mais rápido, não apenas rivaliza com INRs (por exemplo, WIRE, I-NGP) em desempenho de representação, mas também oferece uma velocidade de renderização mais rápida, variando entre 1500 e 2000 FPS, independentemente do tamanho dos parâmetros. Além disso, integramos uma técnica existente de quantização vetorial para construir um codec de imagem. Resultados experimentais demonstram que nosso codec atinge um desempenho de taxa-distorção comparável a INRs baseados em compressão, como COIN e COIN++, ao mesmo tempo em que facilita velocidades de decodificação de aproximadamente 1000 FPS. Adicionalmente, uma prova de conceito preliminar mostra que nosso codec supera COIN e COIN++ em desempenho ao utilizar codificação parcial de bits de retorno (*partial bits-back coding*).

English

Implicit neural representations (INRs) recently achieved great success in image representation and compression, offering high visual quality and fast rendering speeds with 10-1000 FPS, assuming sufficient GPU resources are available. However, this requirement often hinders their use on low-end devices with limited memory. In response, we propose a groundbreaking paradigm of image representation and compression by 2D Gaussian Splatting, named GaussianImage. We first introduce 2D Gaussian to represent the image, where each Gaussian has 8 parameters including position, covariance and color. Subsequently, we unveil a novel rendering algorithm based on accumulated summation. Remarkably, our method with a minimum of 3times lower GPU memory usage and 5times faster fitting time not only rivals INRs (e.g., WIRE, I-NGP) in representation performance, but also delivers a faster rendering speed of 1500-2000 FPS regardless of parameter size. Furthermore, we integrate existing vector quantization technique to build an image codec. Experimental results demonstrate that our codec attains rate-distortion performance comparable to compression-based INRs such as COIN and COIN++, while facilitating decoding speeds of approximately 1000 FPS. Additionally, preliminary proof of concept shows that our codec surpasses COIN and COIN++ in performance when using partial bits-back coding.