EVATok : Tokenisation vidéo à longueur adaptative pour une génération visuelle autorégressive efficace

EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation

March 12, 2026

Auteurs: Tianwei Xiong, Jun Hao Liew, Zilong Huang, Zhijie Lin, Jiashi Feng, Xihui Liu

cs.AI

Résumé

Les modèles génératifs vidéo autorégressifs (AR) reposent sur des tokeniseurs vidéo qui compressent les pixels en séquences discrètes de tokens. La longueur de ces séquences de tokens est cruciale pour équilibrer la qualité de reconstruction et le coût computationnel de la génération en aval. Les tokeniseurs vidéo traditionnels appliquent une attribution uniforme de tokens sur des blocs temporels de différentes vidéos, gaspillant souvent des tokens sur des segments simples, statiques ou répétitifs, tout en sous-allouant les segments dynamiques ou complexes. Pour remédier à cette inefficacité, nous présentons EVATok, un cadre permettant de produire des tokeniseurs vidéo adaptatifs efficaces. Notre framework estime les attributions optimales de tokens pour chaque vidéo afin d'atteindre le meilleur compromis qualité-coût, développe des routeurs légers pour une prédiction rapide de ces attributions optimales, et entraîne des tokeniseurs adaptatifs qui encodent les vidéos en fonction des attributions prédites par les routeurs. Nous démontrons qu'EVATok apporte des améliorations substantielles en efficacité et en qualité globale pour la reconstruction vidéo et la génération AR en aval. Renforcé par notre méthode d'entraînement avancée qui intègre des encodeurs sémantiques vidéo, EVATok atteint une reconstruction supérieure et une génération classe-vers-vidéo de pointe sur UCF-101, avec au moins 24,4 % d'économie d'utilisation moyenne de tokens par rapport à l'état de l'art précédent (LARP) et à notre baseline à longueur fixe.

English

Autoregressive (AR) video generative models rely on video tokenizers that compress pixels into discrete token sequences. The length of these token sequences is crucial for balancing reconstruction quality against downstream generation computational cost. Traditional video tokenizers apply a uniform token assignment across temporal blocks of different videos, often wasting tokens on simple, static, or repetitive segments while underserving dynamic or complex ones. To address this inefficiency, we introduce EVATok, a framework to produce Efficient Video Adaptive Tokenizers. Our framework estimates optimal token assignments for each video to achieve the best quality-cost trade-off, develops lightweight routers for fast prediction of these optimal assignments, and trains adaptive tokenizers that encode videos based on the assignments predicted by routers. We demonstrate that EVATok delivers substantial improvements in efficiency and overall quality for video reconstruction and downstream AR generation. Enhanced by our advanced training recipe that integrates video semantic encoders, EVATok achieves superior reconstruction and state-of-the-art class-to-video generation on UCF-101, with at least 24.4% savings in average token usage compared to the prior state-of-the-art LARP and our fixed-length baseline.