GaussianImage: 1000 FPS Beeldrepresentatie en Compressie door 2D Gaussische Splatting

GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting

March 13, 2024

Auteurs: Xinjie Zhang, Xingtong Ge, Tongda Xu, Dailan He, Yan Wang, Hongwei Qin, Guo Lu, Jing Geng, Jun Zhang

cs.AI

Samenvatting

Impliciete neurale representaties (INRs) hebben recentelijk groot succes geboekt in beeldrepresentatie en compressie, waarbij ze een hoge visuele kwaliteit en snelle weergavesnelheden van 10-1000 FPS bieden, mits voldoende GPU-bronnen beschikbaar zijn. Deze vereiste belemmert echter vaak hun gebruik op apparaten met beperkt geheugen. Als antwoord hierop stellen we een baanbrekend paradigma voor beeldrepresentatie en compressie voor door middel van 2D Gaussian Splatting, genaamd GaussianImage. We introduceren eerst 2D Gaussiaanse functies om het beeld te representeren, waarbij elke Gaussiaanse functie 8 parameters heeft, waaronder positie, covariantie en kleur. Vervolgens onthullen we een nieuw weergave-algoritme gebaseerd op geaccumuleerde sommatie. Opmerkelijk is dat onze methode, met minimaal 3 keer minder GPU-geheugengebruik en 5 keer snellere aanpassingstijd, niet alleen kan concurreren met INRs (bijv. WIRE, I-NGP) in representatieprestaties, maar ook een snellere weergavesnelheid van 1500-2000 FPS biedt, ongeacht de parameteromvang. Bovendien integreren we bestaande vectorkwantisatietechnieken om een beeldcodec te bouwen. Experimentele resultaten tonen aan dat onze codec een rate-distortion-prestatie bereikt die vergelijkbaar is met compressiegebaseerde INRs zoals COIN en COIN++, terwijl het decodeersnelheden van ongeveer 1000 FPS mogelijk maakt. Daarnaast toont een eerste proof of concept aan dat onze codec COIN en COIN++ overtreft in prestaties bij gebruik van gedeeltelijke bits-back codering.

English

Implicit neural representations (INRs) recently achieved great success in image representation and compression, offering high visual quality and fast rendering speeds with 10-1000 FPS, assuming sufficient GPU resources are available. However, this requirement often hinders their use on low-end devices with limited memory. In response, we propose a groundbreaking paradigm of image representation and compression by 2D Gaussian Splatting, named GaussianImage. We first introduce 2D Gaussian to represent the image, where each Gaussian has 8 parameters including position, covariance and color. Subsequently, we unveil a novel rendering algorithm based on accumulated summation. Remarkably, our method with a minimum of 3times lower GPU memory usage and 5times faster fitting time not only rivals INRs (e.g., WIRE, I-NGP) in representation performance, but also delivers a faster rendering speed of 1500-2000 FPS regardless of parameter size. Furthermore, we integrate existing vector quantization technique to build an image codec. Experimental results demonstrate that our codec attains rate-distortion performance comparable to compression-based INRs such as COIN and COIN++, while facilitating decoding speeds of approximately 1000 FPS. Additionally, preliminary proof of concept shows that our codec surpasses COIN and COIN++ in performance when using partial bits-back coding.