VideoFlexTok: Flexible Coarse-to-Fine Video-Tokenisierung variabler Länge

VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization

April 14, 2026

Autoren: Andrei Atanov, Jesse Allardice, Roman Bachmann, Oğuzhan Fatih Kar, R Devon Hjelm, David Griffiths, Peter Fu, Afshin Dehghan, Amir Zamir

cs.AI

Zusammenfassung

Visuelle Tokenizer bilden hochdimensionale Rohpixel in eine komprimierte Darstellung für nachgelagerte Modellierung ab. Neben der Kompression bestimmen Tokenizer, welche Informationen erhalten bleiben und wie sie organisiert werden. Ein De-facto-Standardansatz zur Video-Tokenisierung besteht darin, ein Video als räumlich-zeitliches 3D-Gitter von Tokens darzustellen, wobei jeder Token die entsprechende lokale Information im ursprünglichen Signal erfasst. Dies erfordert, dass das nachgelagerte Modell, das die Tokens verarbeitet (z.B. ein Text-zu-Video-Modell), lernt, alle niedrigaufgelösten Details „pixelweise“ vorherzusagen – unabhängig von der inhärenten Komplexität des Videos –, was zu einer hohen Lernkomplexität führt. Wir stellen VideoFlexTok vor, das Videos mit einer variablen Sequenzlänge von Tokens repräsentiert, die in einer grob- bis fein-granularen Struktur organisiert sind: Die ersten Tokens erfassen (emergente) abstrakte Informationen wie Semantik und Bewegung, während spätere Tokens feinere Details hinzufügen. Der generative Flow-Decoder ermöglicht realistische Videorekonstruktionen aus einer beliebigen Anzahl von Tokens. Diese Darstellungsstruktur erlaubt es, die Token-Anzahl an nachgelagerte Anforderungen anzupassen und Videos länger als die Baseline-Modelle mit demselben Budget zu kodieren. Wir evaluieren VideoFlexTok für Klassen- und Text-zu-Video-Generierungsaufgaben und zeigen, dass es im Vergleich zu 3D-Gitter-Tokens zu effizienterem Training führt – beispielsweise wird eine vergleichbare Generierungsqualität (gFVD und ViCLIP Score) mit einem 5x kleineren Modell (1,1B vs. 5,2B Parametern) erreicht. Abschließend demonstrieren wir, wie VideoFlexTok die Erzeugung langer Videos ohne prohibitive Rechenkosten ermöglicht, indem ein Text-zu-Video-Modell auf 10-Sekunden-81-Frame-Videos mit nur 672 Tokens trainiert wird, was 8x weniger ist als bei einem vergleichbaren 3D-Gitter-Tokenizer.

English

Visual tokenizers map high-dimensional raw pixels into a compressed representation for downstream modeling. Beyond compression, tokenizers dictate what information is preserved and how it is organized. A de facto standard approach to video tokenization is to represent a video as a spatiotemporal 3D grid of tokens, each capturing the corresponding local information in the original signal. This requires the downstream model that consumes the tokens, e.g., a text-to-video model, to learn to predict all low-level details "pixel-by-pixel" irrespective of the video's inherent complexity, leading to high learning complexity. We present VideoFlexTok, which represents videos with a variable-length sequence of tokens structured in a coarse-to-fine manner -- where the first tokens (emergently) capture abstract information, such as semantics and motion, and later tokens add fine-grained details. The generative flow decoder enables realistic video reconstructions from any token count. This representation structure allows adapting the token count according to downstream needs and encoding videos longer than the baselines with the same budget. We evaluate VideoFlexTok on class- and text-to-video generative tasks and show that it leads to more efficient training compared to 3D grid tokens, e.g., achieving comparable generation quality (gFVD and ViCLIP Score) with a 5x smaller model (1.1B vs 5.2B). Finally, we demonstrate how VideoFlexTok can enable long video generation without prohibitive computational cost by training a text-to-video model on 10-second 81-frame videos with only 672 tokens, 8x fewer than a comparable 3D grid tokenizer.