VideoFlexTok: Гибкое поэтапное токенизация видео от грубой к детальной
VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
April 14, 2026
Авторы: Andrei Atanov, Jesse Allardice, Roman Bachmann, Oğuzhan Fatih Kar, R Devon Hjelm, David Griffiths, Peter Fu, Afshin Dehghan, Amir Zamir
cs.AI
Аннотация
Визуальные токенизаторы преобразуют высокоразмерные исходные пиксели в сжатое представление для последующего моделирования. Помимо сжатия, токенизаторы определяют, какая информация сохраняется и как она организуется. Де-факто стандартный подход к токенизации видео заключается в представлении видео в виде пространственно-временной 3D-сетки токенов, каждый из которых захватывает соответствующую локальную информацию исходного сигнала. Это требует, чтобы модель, использующая токены (например, модель для генерации видео по тексту), училась предсказывать все низкоуровневые детали «пиксель за пикселем» независимо от inherent сложности видео, что приводит к высокой сложности обучения.
Мы представляем VideoFlexTok, который представляет видео с помощью последовательности токенов переменной длины, структурированной по принципу «от общего к частному»: первые токены (эмерджентно) захватывают абстрактную информацию, такую как семантика и движение, а последующие токены добавляют детализированные нюансы. Декодер с генеративным потоком позволяет реалистично восстанавливать видео из любого количества токенов. Такая структура представления позволяет адаптировать количество токенов в соответствии с потребностями последующих задач и кодировать видео большей длительности, чем базовые методы, при том же бюджете.
Мы оцениваем VideoFlexTok на задачах генерации видео по классам и по тексту и показываем, что он приводит к более эффективному обучению по сравнению с 3D-сеточными токенами, например, достигая сравнимого качества генерации (по метрикам gFVD и ViCLIP Score) с моделью в 5 раз меньше (1.1 млрд против 5.2 млрд параметров). Наконец, мы демонстрируем, как VideoFlexTok позволяет осуществлять генерацию длинных видео без запретительных вычислительных затрат, обучая модель для генерации видео по тексту на 10-секундных видео из 81 кадра, используя всего 672 токена, что в 8 раз меньше, чем у сравнимого 3D-сеточного токенизатора.
English
Visual tokenizers map high-dimensional raw pixels into a compressed representation for downstream modeling. Beyond compression, tokenizers dictate what information is preserved and how it is organized. A de facto standard approach to video tokenization is to represent a video as a spatiotemporal 3D grid of tokens, each capturing the corresponding local information in the original signal. This requires the downstream model that consumes the tokens, e.g., a text-to-video model, to learn to predict all low-level details "pixel-by-pixel" irrespective of the video's inherent complexity, leading to high learning complexity.
We present VideoFlexTok, which represents videos with a variable-length sequence of tokens structured in a coarse-to-fine manner -- where the first tokens (emergently) capture abstract information, such as semantics and motion, and later tokens add fine-grained details. The generative flow decoder enables realistic video reconstructions from any token count. This representation structure allows adapting the token count according to downstream needs and encoding videos longer than the baselines with the same budget.
We evaluate VideoFlexTok on class- and text-to-video generative tasks and show that it leads to more efficient training compared to 3D grid tokens, e.g., achieving comparable generation quality (gFVD and ViCLIP Score) with a 5x smaller model (1.1B vs 5.2B). Finally, we demonstrate how VideoFlexTok can enable long video generation without prohibitive computational cost by training a text-to-video model on 10-second 81-frame videos with only 672 tokens, 8x fewer than a comparable 3D grid tokenizer.