EVATok: Адаптивная токенизация видео переменной длины для эффективного авторегрессионного визуального генеративного моделирования
EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation
March 12, 2026
Авторы: Tianwei Xiong, Jun Hao Liew, Zilong Huang, Zhijie Lin, Jiashi Feng, Xihui Liu
cs.AI
Аннотация
Авторегрессионные (AR) модели генерации видео опираются на видео-токенизаторы, которые сжимают пиксели в дискретные последовательности токенов. Длина этих последовательностей токенов критически важна для балансировки качества реконструкции и вычислительных затрат на последующую генерацию. Традиционные видео-токенизаторы применяют единообразное распределение токенов ко временным блокам разных видео, зачастую растрачивая токены на простые, статичные или повторяющиеся сегменты, в то время как динамичные или сложные сегменты получают недостаточно токенов. Чтобы устранить эту неэффективность, мы представляем EVATok — фреймворк для создания эффективных адаптивных видео-токенизаторов. Наш фреймворк оценивает оптимальное распределение токенов для каждого видео для достижения наилучшего компромисса между качеством и затратами, разрабатывает легковесные маршрутизаторы для быстрого прогнозирования этих оптимальных распределений и обучает адаптивные токенизаторы, которые кодируют видео на основе распределений, предсказанных маршрутизаторами. Мы демонстрируем, что EVATok обеспечивает значительное улучшение эффективности и общего качества как для реконструкции видео, так и для последующей AR-генерации. Благодаря усовершенствованной методике обучения, интегрирующей семантические энкодеры видео, EVATok достигает превосходной реконструкции и передовых результатов в генерации видео по классам на наборе данных UCF-101, экономя в среднем не менее 24.4% токенов по сравнению с предыдущим state-of-the-art методом LARP и нашим базовым методом с фиксированной длиной.
English
Autoregressive (AR) video generative models rely on video tokenizers that compress pixels into discrete token sequences. The length of these token sequences is crucial for balancing reconstruction quality against downstream generation computational cost. Traditional video tokenizers apply a uniform token assignment across temporal blocks of different videos, often wasting tokens on simple, static, or repetitive segments while underserving dynamic or complex ones. To address this inefficiency, we introduce EVATok, a framework to produce Efficient Video Adaptive Tokenizers. Our framework estimates optimal token assignments for each video to achieve the best quality-cost trade-off, develops lightweight routers for fast prediction of these optimal assignments, and trains adaptive tokenizers that encode videos based on the assignments predicted by routers. We demonstrate that EVATok delivers substantial improvements in efficiency and overall quality for video reconstruction and downstream AR generation. Enhanced by our advanced training recipe that integrates video semantic encoders, EVATok achieves superior reconstruction and state-of-the-art class-to-video generation on UCF-101, with at least 24.4% savings in average token usage compared to the prior state-of-the-art LARP and our fixed-length baseline.