GaussianImage: Representación y Compresión de Imágenes a 1000 FPS mediante Splatting 2D de Gaussianas

GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting

March 13, 2024

Autores: Xinjie Zhang, Xingtong Ge, Tongda Xu, Dailan He, Yan Wang, Hongwei Qin, Guo Lu, Jing Geng, Jun Zhang

cs.AI

Resumen

Las representaciones neuronales implícitas (INRs, por sus siglas en inglés) han logrado recientemente un gran éxito en la representación y compresión de imágenes, ofreciendo una alta calidad visual y velocidades de renderizado rápidas de 10 a 1000 FPS, siempre que se disponga de suficientes recursos de GPU. Sin embargo, este requisito a menudo dificulta su uso en dispositivos de gama baja con memoria limitada. En respuesta, proponemos un paradigma innovador de representación y compresión de imágenes mediante el uso de 2D Gaussian Splatting, denominado GaussianImage. Primero introducimos gaussianas 2D para representar la imagen, donde cada gaussiana tiene 8 parámetros que incluyen posición, covarianza y color. Posteriormente, presentamos un novedoso algoritmo de renderizado basado en la suma acumulativa. Notablemente, nuestro método, con un uso de memoria GPU al menos 3 veces menor y un tiempo de ajuste 5 veces más rápido, no solo rivaliza con las INRs (por ejemplo, WIRE, I-NGP) en rendimiento de representación, sino que también ofrece una velocidad de renderizado más rápida de 1500 a 2000 FPS, independientemente del tamaño de los parámetros. Además, integramos una técnica existente de cuantización vectorial para construir un códec de imágenes. Los resultados experimentales demuestran que nuestro códec alcanza un rendimiento de tasa-distorsión comparable al de las INRs basadas en compresión, como COIN y COIN++, mientras facilita velocidades de decodificación de aproximadamente 1000 FPS. Adicionalmente, una prueba de concepto preliminar muestra que nuestro códec supera a COIN y COIN++ en rendimiento cuando se utiliza codificación parcial de bits de retorno.

English

Implicit neural representations (INRs) recently achieved great success in image representation and compression, offering high visual quality and fast rendering speeds with 10-1000 FPS, assuming sufficient GPU resources are available. However, this requirement often hinders their use on low-end devices with limited memory. In response, we propose a groundbreaking paradigm of image representation and compression by 2D Gaussian Splatting, named GaussianImage. We first introduce 2D Gaussian to represent the image, where each Gaussian has 8 parameters including position, covariance and color. Subsequently, we unveil a novel rendering algorithm based on accumulated summation. Remarkably, our method with a minimum of 3times lower GPU memory usage and 5times faster fitting time not only rivals INRs (e.g., WIRE, I-NGP) in representation performance, but also delivers a faster rendering speed of 1500-2000 FPS regardless of parameter size. Furthermore, we integrate existing vector quantization technique to build an image codec. Experimental results demonstrate that our codec attains rate-distortion performance comparable to compression-based INRs such as COIN and COIN++, while facilitating decoding speeds of approximately 1000 FPS. Additionally, preliminary proof of concept shows that our codec surpasses COIN and COIN++ in performance when using partial bits-back coding.