EVATok：効率的な視覚的自回帰生成のための適応的長さビデオトークン化

EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation

March 12, 2026

著者: Tianwei Xiong, Jun Hao Liew, Zilong Huang, Zhijie Lin, Jiashi Feng, Xihui Liu

cs.AI

要旨

自己回帰型（AR）ビデオ生成モデルは、ピクセルを離散的なトークン列に圧縮するビデオトークナイザに依存している。これらのトークン列の長さは、再構築品質と下流の生成計算コストのバランスを取る上で極めて重要である。従来のビデオトークナイザは、異なるビデオの時間ブロック全体に均一なトークン割り当てを適用しており、単純な静的セグメントや反復的セグメントにトークンを浪費する一方で、動的または複雑なセグメントへの割り当てが不十分になることが多い。この非効率性を解決するため、我々は効率的なビデオ適応型トークナイザを生成するフレームワークであるEVATokを提案する。本フレームワークは、最適な品質とコストのトレードオフを実現するために各ビデオへの最適なトークン割り当てを推定し、これらの最適割り当てを高速に予測する軽量なルータを開発し、ルータによって予測された割り当てに基づいてビデオを符号化する適応型トークナイザを訓練する。EVATokがビデオ再構築と下流のAR生成において、効率性と全体的な品質の大幅な改善をもたらすことを実証する。ビデオ意味エンコーダを統合した高度な訓練レシピによって強化されたEVATokは、優れた再構築性能と、UCF-101におけるstate-of-the-artのクラス対ビデオ生成を達成し、従来のstate-of-the-artであるLARPおよび我々の固定長ベースラインと比較して、平均トークン使用量を少なくとも24.4%削減する。

English

Autoregressive (AR) video generative models rely on video tokenizers that compress pixels into discrete token sequences. The length of these token sequences is crucial for balancing reconstruction quality against downstream generation computational cost. Traditional video tokenizers apply a uniform token assignment across temporal blocks of different videos, often wasting tokens on simple, static, or repetitive segments while underserving dynamic or complex ones. To address this inefficiency, we introduce EVATok, a framework to produce Efficient Video Adaptive Tokenizers. Our framework estimates optimal token assignments for each video to achieve the best quality-cost trade-off, develops lightweight routers for fast prediction of these optimal assignments, and trains adaptive tokenizers that encode videos based on the assignments predicted by routers. We demonstrate that EVATok delivers substantial improvements in efficiency and overall quality for video reconstruction and downstream AR generation. Enhanced by our advanced training recipe that integrates video semantic encoders, EVATok achieves superior reconstruction and state-of-the-art class-to-video generation on UCF-101, with at least 24.4% savings in average token usage compared to the prior state-of-the-art LARP and our fixed-length baseline.