GaussianImage: Representación y Compresión de Imágenes a 1000 FPS mediante Splatting 2D de Gaussianas
GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting
March 13, 2024
Autores: Xinjie Zhang, Xingtong Ge, Tongda Xu, Dailan He, Yan Wang, Hongwei Qin, Guo Lu, Jing Geng, Jun Zhang
cs.AI
Resumen
Las representaciones neuronales implícitas (INRs, por sus siglas en inglés) han logrado recientemente un gran éxito en la representación y compresión de imágenes, ofreciendo una alta calidad visual y velocidades de renderizado rápidas de 10 a 1000 FPS, siempre que se disponga de suficientes recursos de GPU. Sin embargo, este requisito a menudo dificulta su uso en dispositivos de gama baja con memoria limitada. En respuesta, proponemos un paradigma innovador de representación y compresión de imágenes mediante el uso de 2D Gaussian Splatting, denominado GaussianImage. Primero introducimos gaussianas 2D para representar la imagen, donde cada gaussiana tiene 8 parámetros que incluyen posición, covarianza y color. Posteriormente, presentamos un novedoso algoritmo de renderizado basado en la suma acumulativa. Notablemente, nuestro método, con un uso de memoria GPU al menos 3 veces menor y un tiempo de ajuste 5 veces más rápido, no solo rivaliza con las INRs (por ejemplo, WIRE, I-NGP) en rendimiento de representación, sino que también ofrece una velocidad de renderizado más rápida de 1500 a 2000 FPS, independientemente del tamaño de los parámetros. Además, integramos una técnica existente de cuantización vectorial para construir un códec de imágenes. Los resultados experimentales demuestran que nuestro códec alcanza un rendimiento de tasa-distorsión comparable al de las INRs basadas en compresión, como COIN y COIN++, mientras facilita velocidades de decodificación de aproximadamente 1000 FPS. Adicionalmente, una prueba de concepto preliminar muestra que nuestro códec supera a COIN y COIN++ en rendimiento cuando se utiliza codificación parcial de bits de retorno.
English
Implicit neural representations (INRs) recently achieved great success in
image representation and compression, offering high visual quality and fast
rendering speeds with 10-1000 FPS, assuming sufficient GPU resources are
available. However, this requirement often hinders their use on low-end devices
with limited memory. In response, we propose a groundbreaking paradigm of image
representation and compression by 2D Gaussian Splatting, named GaussianImage.
We first introduce 2D Gaussian to represent the image, where each Gaussian has
8 parameters including position, covariance and color. Subsequently, we unveil
a novel rendering algorithm based on accumulated summation. Remarkably, our
method with a minimum of 3times lower GPU memory usage and 5times faster
fitting time not only rivals INRs (e.g., WIRE, I-NGP) in representation
performance, but also delivers a faster rendering speed of 1500-2000 FPS
regardless of parameter size. Furthermore, we integrate existing vector
quantization technique to build an image codec. Experimental results
demonstrate that our codec attains rate-distortion performance comparable to
compression-based INRs such as COIN and COIN++, while facilitating decoding
speeds of approximately 1000 FPS. Additionally, preliminary proof of concept
shows that our codec surpasses COIN and COIN++ in performance when using
partial bits-back coding.Summary
AI-Generated Summary