유지 또는 제거? 압축된 비디오 표현을 위한 적응형 토크나이저

초록

잠재 확산 모델은 변분 오토인코더(VAE)를 사용하여 압축된 잠재 공간에서 작동함으로써 시각적 품질을 저하시키지 않으면서 계산 효율성을 높이는 고충실도 이미지 및 비디오 합성을 위한 지배적인 프레임워크로 부상했다. 그러나 기존의 VAE는 시공간 콘텐츠의 다양한 복잡성에 적응할 수 없는 고정된 압축률을 사용하기 때문에 비디오 데이터에 최적이 아니다. 우리는 잠재 토큰과 공동으로 학습되는 적응형 토큰 선택기를 통합한 트랜스포머 기반 VAE인 KATok(Keep-or-Drop? 적응형 토크나이저)을 제시한다. 토큰 선택기는 각 토큰의 콘텐츠 풍부도를 유지-제거 확률로 평가하여 비정보적 토큰을 효과적으로 제거함으로써 자연스럽게 데이터 의존적 압축을 가능하게 한다. 확산 모델에 적응형 토큰화를 적용하면 토큰 제거가 원래의 시공간 구조를 방해할 수 있으므로 공간 정합성 불일치가 발생할 수 있다. 이 문제를 완화하기 위해 우리는 공간 일관성을 보장하는 두 가지 위치 예측 전략, 즉 캐스케이드 생성과 공동 생성을 제안한다. 실험적으로 우리의 모델이 최첨단 압축률에서 강력한 재구성 및 생성 품질을 달성함을 보여준다. 비디오 데이터에 대한 추가 분석은 이러한 개선이 주로 시공간 중복성을 줄이고 비정보적 토큰을 제거함으로써 달성되며, 이는 정량적 및 정성적 결과 모두로 뒷받침됨을 보여준다.

English

Latent diffusion models have emerged as a dominant framework for high-fidelity image and video synthesis, operating in compact latent spaces with variational autoencoders (VAEs) to enhance computational efficiency without compromising visual quality. However, conventional VAEs are suboptimal for video data as they employ fixed compression ratios that cannot adapt to the varying complexity of spatio-temporal content. We present KATok (Keep-or-Drop? Adaptive Tokenizer for Compact Video Representation), a transformer-based VAE that incorporates an adaptive token selector which is jointly learned with latent tokens. By evaluating each token's content-richness as keep-or-drop probability, the token selector effectively discards uninformative tokens, naturally allowing data-dependent compression. Applying adaptive tokenization to diffusion models may cause spatial misalignment, as token dropping can disturb the original spatio-temporal structure. To alleviate this issue, we propose two position-prediction strategies: cascaded and joint generation, to ensure spatial consistency. We empirically show that our model achieves strong reconstruction and generation quality at a state-of-the-art compression ratio. Further analysis on video data reveals that this improvement is primarily achieved by reducing spatio-temporal redundancy and removing uninformative tokens, as supported by both quantitative and qualitative results.