EVATok: Adaptive Videolängen-Tokenisierung für effiziente autoregressive visuelle Generierung
EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation
March 12, 2026
Autoren: Tianwei Xiong, Jun Hao Liew, Zilong Huang, Zhijie Lin, Jiashi Feng, Xihui Liu
cs.AI
Zusammenfassung
Autoregressive (AR) Video-Generativmodelle basieren auf Video-Tokenizern, die Pixel in diskrete Token-Sequenzen komprimieren. Die Länge dieser Token-Sequenzen ist entscheidend, um die Rekonstruktionsqualität gegen die Rechenkosten der nachgelagerten Generierung abzuwägen. Herkömmliche Video-Tokenizer wenden eine einheitliche Token-Zuweisung über zeitliche Blöcke verschiedener Videos hinweg an, was häufig Token für einfache, statische oder repetitive Segmente verschwendet, während dynamische oder komplexe Bereiche unterversorgt bleiben. Um diese Ineffizienz zu beheben, stellen wir EVATok vor, ein Framework zur Erzeugung effizienter, video-adaptiver Tokenizer. Unser Framework schätzt optimale Token-Zuweisungen für jedes Video, um den besten Qualitäts-Kosten-Kompromiss zu erreichen, entwickelt leichtgewichtige Router zur schnellen Vorhersage dieser optimalen Zuweisungen und trainiert adaptive Tokenizer, die Videos basierend auf den durch Router vorhergesagten Zuweisungen kodieren. Wir zeigen, dass EVATok erhebliche Verbesserungen in Effizienz und Gesamtqualität für die Videorekonstruktion und nachgelagerte AR-Generierung liefert. Durch unser erweitertes Trainingsrezept, das Video-Semantik-Encoder integriert, erreicht EVATok eine überlegene Rekonstruktion und state-of-the-art Klassen-zu-Video-Generierung auf UCF-101, mit mindestens 24,4 % Ersparnis im durchschnittlichen Token-Verbrauch im Vergleich zum bisherigen State-of-the-Art LARP und unserer Fixed-Length-Baseline.
English
Autoregressive (AR) video generative models rely on video tokenizers that compress pixels into discrete token sequences. The length of these token sequences is crucial for balancing reconstruction quality against downstream generation computational cost. Traditional video tokenizers apply a uniform token assignment across temporal blocks of different videos, often wasting tokens on simple, static, or repetitive segments while underserving dynamic or complex ones. To address this inefficiency, we introduce EVATok, a framework to produce Efficient Video Adaptive Tokenizers. Our framework estimates optimal token assignments for each video to achieve the best quality-cost trade-off, develops lightweight routers for fast prediction of these optimal assignments, and trains adaptive tokenizers that encode videos based on the assignments predicted by routers. We demonstrate that EVATok delivers substantial improvements in efficiency and overall quality for video reconstruction and downstream AR generation. Enhanced by our advanced training recipe that integrates video semantic encoders, EVATok achieves superior reconstruction and state-of-the-art class-to-video generation on UCF-101, with at least 24.4% savings in average token usage compared to the prior state-of-the-art LARP and our fixed-length baseline.