GaussianImage: 2D 가우시안 스플래팅을 통한 1000 FPS 이미지 표현 및 압축

초록

암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 이미지 표현 및 압축 분야에서 큰 성과를 거두며, 충분한 GPU 자원이 가정될 경우 10-1000 FPS의 빠른 렌더링 속도와 높은 시각적 품질을 제공해 왔습니다. 그러나 이러한 요구 사항은 메모리가 제한된 저사양 기기에서의 사용을 어렵게 하는 경우가 많습니다. 이에 대응하여, 우리는 2D 가우시안 스플래팅(Gaussian Splatting)을 기반으로 한 혁신적인 이미지 표현 및 압축 패러다임인 GaussianImage를 제안합니다. 먼저, 이미지를 표현하기 위해 2D 가우시안을 도입하며, 각 가우시안은 위치, 공분산 및 색상을 포함한 8개의 파라미터를 갖습니다. 이후, 누적 합산(accumulated summation)을 기반으로 한 새로운 렌더링 알고리즘을 공개합니다. 특히, 우리의 방법은 GPU 메모리 사용량을 최소 3배 줄이고, 피팅 시간을 5배 단축시키면서도 WIRE, I-NGP와 같은 INRs의 표현 성능에 필적할 뿐만 아니라, 파라미터 크기에 관계없이 1500-2000 FPS의 더 빠른 렌더링 속도를 제공합니다. 더 나아가, 기존의 벡터 양자화(vector quantization) 기술을 통합하여 이미지 코덱을 구축했습니다. 실험 결과, 우리의 코덱은 COIN 및 COIN++와 같은 압축 기반 INRs와 비슷한 비율-왜곡(rate-distortion) 성능을 달성하면서도 약 1000 FPS의 디코딩 속도를 가능하게 합니다. 또한, 예비 개념 증명(preliminary proof of concept)에서는 부분 비트백 코딩(partial bits-back coding)을 사용할 때 우리의 코덱이 COIN 및 COIN++를 능가하는 성능을 보여줍니다.

English

Implicit neural representations (INRs) recently achieved great success in image representation and compression, offering high visual quality and fast rendering speeds with 10-1000 FPS, assuming sufficient GPU resources are available. However, this requirement often hinders their use on low-end devices with limited memory. In response, we propose a groundbreaking paradigm of image representation and compression by 2D Gaussian Splatting, named GaussianImage. We first introduce 2D Gaussian to represent the image, where each Gaussian has 8 parameters including position, covariance and color. Subsequently, we unveil a novel rendering algorithm based on accumulated summation. Remarkably, our method with a minimum of 3times lower GPU memory usage and 5times faster fitting time not only rivals INRs (e.g., WIRE, I-NGP) in representation performance, but also delivers a faster rendering speed of 1500-2000 FPS regardless of parameter size. Furthermore, we integrate existing vector quantization technique to build an image codec. Experimental results demonstrate that our codec attains rate-distortion performance comparable to compression-based INRs such as COIN and COIN++, while facilitating decoding speeds of approximately 1000 FPS. Additionally, preliminary proof of concept shows that our codec surpasses COIN and COIN++ in performance when using partial bits-back coding.

GaussianImage: 2D 가우시안 스플래팅을 통한 1000 FPS 이미지 표현 및 압축

GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting

초록

Support