GaussianImage: Rappresentazione e Compressione di Immagini a 1000 FPS mediante 2D Gaussian Splatting

GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting

March 13, 2024

Autori: Xinjie Zhang, Xingtong Ge, Tongda Xu, Dailan He, Yan Wang, Hongwei Qin, Guo Lu, Jing Geng, Jun Zhang

cs.AI

Abstract

Le rappresentazioni neurali implicite (INR) hanno recentemente ottenuto un grande successo nella rappresentazione e compressione delle immagini, offrendo un'elevata qualità visiva e velocità di rendering elevate, con 10-1000 FPS, a condizione che siano disponibili sufficienti risorse GPU. Tuttavia, questo requisito spesso ne ostacola l'utilizzo su dispositivi di fascia bassa con memoria limitata. In risposta, proponiamo un paradigma innovativo di rappresentazione e compressione delle immagini mediante 2D Gaussian Splatting, denominato GaussianImage. Iniziamo introducendo la Gaussiana 2D per rappresentare l'immagine, dove ogni Gaussiana ha 8 parametri, inclusi posizione, covarianza e colore. Successivamente, presentiamo un nuovo algoritmo di rendering basato sulla somma accumulata. Notevolmente, il nostro metodo, con un utilizzo della memoria GPU almeno 3 volte inferiore e un tempo di adattamento 5 volte più veloce, non solo rivaleggia con le INR (ad esempio, WIRE, I-NGP) in termini di prestazioni di rappresentazione, ma offre anche una velocità di rendering più elevata di 1500-2000 FPS, indipendentemente dalla dimensione dei parametri. Inoltre, integriamo una tecnica di quantizzazione vettoriale esistente per costruire un codec di immagini. I risultati sperimentali dimostrano che il nostro codec raggiunge prestazioni di rate-distortion comparabili a quelle delle INR basate sulla compressione come COIN e COIN++, facilitando velocità di decodifica di circa 1000 FPS. Inoltre, una prova preliminare di concetto mostra che il nostro codec supera COIN e COIN++ in termini di prestazioni quando si utilizza la codifica parziale a bit-back.

English

Implicit neural representations (INRs) recently achieved great success in image representation and compression, offering high visual quality and fast rendering speeds with 10-1000 FPS, assuming sufficient GPU resources are available. However, this requirement often hinders their use on low-end devices with limited memory. In response, we propose a groundbreaking paradigm of image representation and compression by 2D Gaussian Splatting, named GaussianImage. We first introduce 2D Gaussian to represent the image, where each Gaussian has 8 parameters including position, covariance and color. Subsequently, we unveil a novel rendering algorithm based on accumulated summation. Remarkably, our method with a minimum of 3times lower GPU memory usage and 5times faster fitting time not only rivals INRs (e.g., WIRE, I-NGP) in representation performance, but also delivers a faster rendering speed of 1500-2000 FPS regardless of parameter size. Furthermore, we integrate existing vector quantization technique to build an image codec. Experimental results demonstrate that our codec attains rate-distortion performance comparable to compression-based INRs such as COIN and COIN++, while facilitating decoding speeds of approximately 1000 FPS. Additionally, preliminary proof of concept shows that our codec surpasses COIN and COIN++ in performance when using partial bits-back coding.