GaussianImage: 2Dガウススプラッティングによる1000 FPSの画像表現と圧縮

GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting

March 13, 2024

著者: Xinjie Zhang, Xingtong Ge, Tongda Xu, Dailan He, Yan Wang, Hongwei Qin, Guo Lu, Jing Geng, Jun Zhang

cs.AI

要旨

暗黙的ニューラル表現（INRs）は最近、画像表現と圧縮において大きな成功を収め、十分なGPUリソースが利用可能な場合、10-1000 FPSの高速レンダリング速度と高い視覚品質を提供しています。しかし、この要件はしばしばメモリが限られたローエンドデバイスでの使用を妨げています。これに対応して、我々は2Dガウシアンスプラッティングによる画像表現と圧縮の画期的なパラダイム、GaussianImageを提案します。まず、画像を表現するために2Dガウシアンを導入し、各ガウシアンは位置、共分散、色を含む8つのパラメータを持ちます。その後、累積加算に基づく新しいレンダリングアルゴリズムを公開します。注目すべきは、我々の方法がGPUメモリ使用量を最低3倍削減し、フィッティング時間を5倍高速化するだけでなく、表現性能においてINRs（例：WIRE、I-NGP）に匹敵し、パラメータサイズに関係なく1500-2000 FPSの高速レンダリング速度を実現することです。さらに、既存のベクトル量子化技術を統合して画像コーデックを構築します。実験結果は、我々のコーデックがCOINやCOIN++などの圧縮ベースのINRsと同等のレート歪み性能を達成し、約1000 FPSのデコード速度を促進することを示しています。加えて、予備的な概念実証では、部分的なビットバックコーディングを使用する場合、我々のコーデックがCOINとCOIN++を性能で上回ることが示されています。

English

Implicit neural representations (INRs) recently achieved great success in image representation and compression, offering high visual quality and fast rendering speeds with 10-1000 FPS, assuming sufficient GPU resources are available. However, this requirement often hinders their use on low-end devices with limited memory. In response, we propose a groundbreaking paradigm of image representation and compression by 2D Gaussian Splatting, named GaussianImage. We first introduce 2D Gaussian to represent the image, where each Gaussian has 8 parameters including position, covariance and color. Subsequently, we unveil a novel rendering algorithm based on accumulated summation. Remarkably, our method with a minimum of 3times lower GPU memory usage and 5times faster fitting time not only rivals INRs (e.g., WIRE, I-NGP) in representation performance, but also delivers a faster rendering speed of 1500-2000 FPS regardless of parameter size. Furthermore, we integrate existing vector quantization technique to build an image codec. Experimental results demonstrate that our codec attains rate-distortion performance comparable to compression-based INRs such as COIN and COIN++, while facilitating decoding speeds of approximately 1000 FPS. Additionally, preliminary proof of concept shows that our codec surpasses COIN and COIN++ in performance when using partial bits-back coding.