VideoFlexTok: Flexibele-lengte Coarse-to-Fine Video-tokenisatie
VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
April 14, 2026
Auteurs: Andrei Atanov, Jesse Allardice, Roman Bachmann, Oğuzhan Fatih Kar, R Devon Hjelm, David Griffiths, Peter Fu, Afshin Dehghan, Amir Zamir
cs.AI
Samenvatting
Visuele tokenizers zetten hoogdimensionale ruwe pixels om in een gecomprimeerde representatie voor downstream modellering. Naast compressie bepalen tokenizers welke informatie behouden blijft en hoe deze georganiseerd wordt. Een de facto standaardbenadering voor videotokenisatie is het representeren van een video als een ruimtelijk-temporeel 3D-rooster van tokens, waarbij elke token de corresponderende lokale informatie in het originele signaal vastlegt. Hierdoor moet het downstream model dat de tokens verwerkt, zoals een tekst-naar-video model, leren om alle laag-niveau details "pixel-voor-pixel" te voorspellen, ongeacht de inherente complexiteit van de video, wat leidt tot een hoge leercomplexiteit.
Wij presenteren VideoFlexTok, dat video's representeert met een variabel-lange reeks tokens gestructureerd op een grof-naar-fijne manier – waarbij de eerste tokens (emergent) abstracte informatie vastleggen, zoals semantiek en beweging, en latere tokens fijnkorrelige details toevoegen. De generatieve flow-decoder maakt realistische videoreconstructies mogelijk vanaf elk aantal tokens. Deze representatiestructuur maakt het mogelijk het aantal tokens aan te passen aan downstream behoeften en video's langer dan de baseline-methoden te coderen met hetzelfde budget.
We evalueren VideoFlexTok op klasse- en tekst-naar-video generatieve taken en tonen aan dat het leidt tot efficiëntere training vergeleken met 3D-roostertokens, bijvoorbeeld door vergelijkbare generatiekwaliteit (gFVD en ViCLIP Score) te bereiken met een 5x kleiner model (1,1B vs 5,2B). Ten slotte demonstreren we hoe VideoFlexTok lange videogeneratie mogelijk kan maken zonder excessieve rekenkosten door een tekst-naar-video model te trainen op 10-seconden 81-frame video's met slechts 672 tokens, 8x minder dan een vergelijkbare 3D-rooster tokenizer.
English
Visual tokenizers map high-dimensional raw pixels into a compressed representation for downstream modeling. Beyond compression, tokenizers dictate what information is preserved and how it is organized. A de facto standard approach to video tokenization is to represent a video as a spatiotemporal 3D grid of tokens, each capturing the corresponding local information in the original signal. This requires the downstream model that consumes the tokens, e.g., a text-to-video model, to learn to predict all low-level details "pixel-by-pixel" irrespective of the video's inherent complexity, leading to high learning complexity.
We present VideoFlexTok, which represents videos with a variable-length sequence of tokens structured in a coarse-to-fine manner -- where the first tokens (emergently) capture abstract information, such as semantics and motion, and later tokens add fine-grained details. The generative flow decoder enables realistic video reconstructions from any token count. This representation structure allows adapting the token count according to downstream needs and encoding videos longer than the baselines with the same budget.
We evaluate VideoFlexTok on class- and text-to-video generative tasks and show that it leads to more efficient training compared to 3D grid tokens, e.g., achieving comparable generation quality (gFVD and ViCLIP Score) with a 5x smaller model (1.1B vs 5.2B). Finally, we demonstrate how VideoFlexTok can enable long video generation without prohibitive computational cost by training a text-to-video model on 10-second 81-frame videos with only 672 tokens, 8x fewer than a comparable 3D grid tokenizer.