GaussianImage: 1000 FPS Bildrepräsentation und -kompression durch 2D Gaussian Splatting

GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting

March 13, 2024

Autoren: Xinjie Zhang, Xingtong Ge, Tongda Xu, Dailan He, Yan Wang, Hongwei Qin, Guo Lu, Jing Geng, Jun Zhang

cs.AI

Zusammenfassung

Implizite neuronale Repräsentationen (INRs) haben kürzlich große Erfolge bei der Bildrepräsentation und -kompression erzielt, indem sie eine hohe visuelle Qualität und schnelle Rendergeschwindigkeiten von 10-1000 FPS bieten, vorausgesetzt ausreichende GPU-Ressourcen stehen zur Verfügung. Diese Anforderung behindert jedoch häufig ihre Verwendung auf Low-End-Geräten mit begrenztem Speicher. Als Antwort schlagen wir ein bahnbrechendes Paradigma der Bildrepräsentation und -kompression durch 2D-Gauß-Splatting vor, das als GaussianImage bezeichnet wird. Wir führen zunächst 2D-Gauß ein, um das Bild zu repräsentieren, wobei jeder Gauß 8 Parameter einschließlich Position, Kovarianz und Farbe hat. Anschließend enthüllen wir einen neuartigen Renderalgorithmus basierend auf akkumulierter Summation. Bemerkenswert ist, dass unsere Methode mit einer um mindestens das 3-fache geringeren GPU-Speicherauslastung und einer um das 5-fache schnellere Anpassungszeit nicht nur INRs (z. B. WIRE, I-NGP) in der Repräsentationsleistung Konkurrenz macht, sondern auch eine schnellere Rendergeschwindigkeit von 1500-2000 FPS unabhängig von der Parametergröße bietet. Darüber hinaus integrieren wir eine vorhandene Vektorquantisierungstechnik, um einen Bildcodec zu erstellen. Experimentelle Ergebnisse zeigen, dass unser Codec eine Rate-Verzerrungsleistung erreicht, die mit kompressionsbasierten INRs wie COIN und COIN++ vergleichbar ist, während er Dekodierungsgeschwindigkeiten von etwa 1000 FPS ermöglicht. Zusätzlich zeigt ein vorläufiger Proof of Concept, dass unser Codec COIN und COIN++ in der Leistung übertrifft, wenn teilweise Bits-Back-Codierung verwendet wird.

English

Implicit neural representations (INRs) recently achieved great success in image representation and compression, offering high visual quality and fast rendering speeds with 10-1000 FPS, assuming sufficient GPU resources are available. However, this requirement often hinders their use on low-end devices with limited memory. In response, we propose a groundbreaking paradigm of image representation and compression by 2D Gaussian Splatting, named GaussianImage. We first introduce 2D Gaussian to represent the image, where each Gaussian has 8 parameters including position, covariance and color. Subsequently, we unveil a novel rendering algorithm based on accumulated summation. Remarkably, our method with a minimum of 3times lower GPU memory usage and 5times faster fitting time not only rivals INRs (e.g., WIRE, I-NGP) in representation performance, but also delivers a faster rendering speed of 1500-2000 FPS regardless of parameter size. Furthermore, we integrate existing vector quantization technique to build an image codec. Experimental results demonstrate that our codec attains rate-distortion performance comparable to compression-based INRs such as COIN and COIN++, while facilitating decoding speeds of approximately 1000 FPS. Additionally, preliminary proof of concept shows that our codec surpasses COIN and COIN++ in performance when using partial bits-back coding.