GaussianImage : Représentation et compression d'images à 1000 FPS par projection 2D de Gaussiennes

GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting

March 13, 2024

Auteurs: Xinjie Zhang, Xingtong Ge, Tongda Xu, Dailan He, Yan Wang, Hongwei Qin, Guo Lu, Jing Geng, Jun Zhang

cs.AI

Résumé

Les représentations neuronales implicites (INR) ont récemment connu un grand succès dans la représentation et la compression d'images, offrant une qualité visuelle élevée et des vitesses de rendu rapides de 10 à 1000 FPS, à condition que des ressources GPU suffisantes soient disponibles. Cependant, cette exigence limite souvent leur utilisation sur des appareils bas de gamme dotés d'une mémoire limitée. En réponse, nous proposons un paradigme innovant de représentation et de compression d'images par projection gaussienne 2D, nommé GaussianImage. Nous introduisons d'abord une gaussienne 2D pour représenter l'image, où chaque gaussienne possède 8 paramètres incluant la position, la covariance et la couleur. Ensuite, nous dévoilons un nouvel algorithme de rendu basé sur une sommation accumulée. De manière remarquable, notre méthode, avec une utilisation de mémoire GPU au moins 3 fois inférieure et un temps d'ajustement 5 fois plus rapide, rivalise non seulement avec les INR (par exemple, WIRE, I-NGP) en termes de performance de représentation, mais offre également une vitesse de rendu plus rapide de 1500 à 2000 FPS, indépendamment de la taille des paramètres. De plus, nous intégrons une technique de quantification vectorielle existante pour construire un codec d'image. Les résultats expérimentaux montrent que notre codec atteint une performance de taux-distortion comparable à celle des INR basés sur la compression comme COIN et COIN++, tout en permettant des vitesses de décodage d'environ 1000 FPS. Enfin, une preuve de concept préliminaire montre que notre codec surpasse COIN et COIN++ en performance lors de l'utilisation d'un codage partiel par bits rétroactifs.

English

Implicit neural representations (INRs) recently achieved great success in image representation and compression, offering high visual quality and fast rendering speeds with 10-1000 FPS, assuming sufficient GPU resources are available. However, this requirement often hinders their use on low-end devices with limited memory. In response, we propose a groundbreaking paradigm of image representation and compression by 2D Gaussian Splatting, named GaussianImage. We first introduce 2D Gaussian to represent the image, where each Gaussian has 8 parameters including position, covariance and color. Subsequently, we unveil a novel rendering algorithm based on accumulated summation. Remarkably, our method with a minimum of 3times lower GPU memory usage and 5times faster fitting time not only rivals INRs (e.g., WIRE, I-NGP) in representation performance, but also delivers a faster rendering speed of 1500-2000 FPS regardless of parameter size. Furthermore, we integrate existing vector quantization technique to build an image codec. Experimental results demonstrate that our codec attains rate-distortion performance comparable to compression-based INRs such as COIN and COIN++, while facilitating decoding speeds of approximately 1000 FPS. Additionally, preliminary proof of concept shows that our codec surpasses COIN and COIN++ in performance when using partial bits-back coding.