TED-4DGS: 시간 기반 활성화 및 임베딩 기반 변형을 통한 4DGS 압축

초록

정적 3D 장면 표현에서 3D 가우시안 스플래팅(3DGS)의 성공을 바탕으로, 일반적으로 4DGS 또는 동적 3DGS라고 불리는 동적 장면으로의 확장이 점점 더 많은 관심을 받고 있습니다. 그러나 동적 3DGS 표현을 위해 더 컴팩트하고 효율적인 변형 기법과 비율-왜곡 최적화 압축 전략을 함께 설계하는 것은 아직 충분히 탐구되지 않은 분야로 남아 있습니다. 기존 방법들은 과도하게 지정되고 수명이 짧은 가우시안 기본 요소를 사용하는 시공간 4DGS에 의존하거나, 명시적인 시간적 제어가 부족한 변형을 가진 표준 3DGS에 의존합니다. 이를 해결하기 위해 우리는 두 방식의 장점을 통합한 비율-왜곡 최적화 4DGS 압축을 위한 시간 활성화 및 임베딩 기반 변형 기법인 TED-4DGS를 제시합니다. TED-4DGS는 희소 앵커 기반 3DGS 표현 위에 구축됩니다. 각 표준 앵커에는 시간에 따른 출현 및 소멸 전환을 지정하기 위해 학습 가능한 시간 활성화 매개변수가 할당되며, 경량의 앵커별 시간 임베딩은 공유 변형 뱅크를 조회하여 앵커별 변형을 생성합니다. 비율-왜곡 압축을 위해, 우리는 앵커 속성 분포를 모델링하기 위해 암묵적 신경망 표현(INR) 기반 하이퍼프라이어를 도입하고, 앵커 내 상관관계를 포착하기 위해 채널 단위 자기회귀 모델을 함께 사용합니다. 이러한 새로운 요소들을 통해 우리의 기법은 여러 실제 데이터셋에서 최첨단 비율-왜곡 성능을 달성합니다. 우리가 알고 있는 한, 이 작업은 동적 3DGS 표현을 위한 비율-왜곡 최적화 압축 프레임워크를 추구한 최초의 시도 중 하나입니다.

English

Building on the success of 3D Gaussian Splatting (3DGS) in static 3D scene representation, its extension to dynamic scenes, commonly referred to as 4DGS or dynamic 3DGS, has attracted increasing attention. However, designing more compact and efficient deformation schemes together with rate-distortion-optimized compression strategies for dynamic 3DGS representations remains an underexplored area. Prior methods either rely on space-time 4DGS with overspecified, short-lived Gaussian primitives or on canonical 3DGS with deformation that lacks explicit temporal control. To address this, we present TED-4DGS, a temporally activated and embedding-based deformation scheme for rate-distortion-optimized 4DGS compression that unifies the strengths of both families. TED-4DGS is built on a sparse anchor-based 3DGS representation. Each canonical anchor is assigned learnable temporal-activation parameters to specify its appearance and disappearance transitions over time, while a lightweight per-anchor temporal embedding queries a shared deformation bank to produce anchor-specific deformation. For rate-distortion compression, we incorporate an implicit neural representation (INR)-based hyperprior to model anchor attribute distributions, along with a channel-wise autoregressive model to capture intra-anchor correlations. With these novel elements, our scheme achieves state-of-the-art rate-distortion performance on several real-world datasets. To the best of our knowledge, this work represents one of the first attempts to pursue a rate-distortion-optimized compression framework for dynamic 3DGS representations.

TED-4DGS: 시간 기반 활성화 및 임베딩 기반 변형을 통한 4DGS 압축

TED-4DGS: Temporally Activated and Embedding-based Deformation for 4DGS Compression

초록

Support