保持か破棄か？：コンパクトなビデオ表現のための適応的トークナイザー

要旨

潜在拡散モデルは、変分オートエンコーダ（VAE）を利用してコンパクトな潜在空間で動作することで、画質を損なうことなく計算効率を向上させる、高忠実度の画像・動画合成の主要なフレームワークとして登場した。しかしながら、従来のVAEは固定の圧縮率を採用しており、時空間コンテンツの複雑さの変化に適応できないため、動画データに対しては最適ではない。我々は、潜在トークンと共同で学習される適応的トークン選択器を組み込んだTransformerベースのVAEであるKATok（Keep-or-Drop? Adaptive Tokenizer for Compact Video Representation）を提案する。各トークンの情報量を保持/破棄の確率として評価することにより、トークン選択器は情報量のないトークンを効果的に破棄し、データ依存の圧縮を自然に可能にする。拡散モデルに適応的トークン化を適用すると、トークンの破棄が元の時空間構造を乱すため、空間的不整合を引き起こす可能性がある。この問題を軽減するため、我々は空間的一貫性を確保するための2つの位置予測戦略、すなわちカスケード生成とジョイント生成を提案する。実験では、我々のモデルが最先端の圧縮率で高い再構成品質と生成品質を達成することを示す。動画データを対象としたさらなる分析により、この改善は主に時空間冗長性の低減と情報量のないトークンの除去によってもたらされることが、定量的・定性的結果の両方によって裏付けられる。

English

Latent diffusion models have emerged as a dominant framework for high-fidelity image and video synthesis, operating in compact latent spaces with variational autoencoders (VAEs) to enhance computational efficiency without compromising visual quality. However, conventional VAEs are suboptimal for video data as they employ fixed compression ratios that cannot adapt to the varying complexity of spatio-temporal content. We present KATok (Keep-or-Drop? Adaptive Tokenizer for Compact Video Representation), a transformer-based VAE that incorporates an adaptive token selector which is jointly learned with latent tokens. By evaluating each token's content-richness as keep-or-drop probability, the token selector effectively discards uninformative tokens, naturally allowing data-dependent compression. Applying adaptive tokenization to diffusion models may cause spatial misalignment, as token dropping can disturb the original spatio-temporal structure. To alleviate this issue, we propose two position-prediction strategies: cascaded and joint generation, to ensure spatial consistency. We empirically show that our model achieves strong reconstruction and generation quality at a state-of-the-art compression ratio. Further analysis on video data reveals that this improvement is primarily achieved by reducing spatio-temporal redundancy and removing uninformative tokens, as supported by both quantitative and qualitative results.