AdaCodec: Een Predictieve Visuele Code voor Video-MLLMs

Samenvatting

Video is temporeel redundant: opeenvolgende frames delen meestal de meeste objecten, achtergrond en lay-out. Toch coderen bestaande video multimodale grote taalmodellen (video MLLM's) elk gesampled frame meestal als een onafhankelijk RGB-beeld, waardoor visuele tokens inhoud herhalen die al in eerdere frames aanwezig is. Dit suggereert een directere video-interface: stuur alleen een volledig referentieframe wanneer de scène niet goed voorspeld kan worden op basis van eerdere context, en stuur anders een compacte beschrijving van veranderingen tussen frames. We noemen deze interface een voorspellende visuele code en implementeren deze voor video MLLM's als AdaCodec. AdaCodec besteedt alleen volledige visuele tokens aan een referentieframe wanneer de conditionele voorspellingskost hoog is; anders codeert het veranderingen tussen frames, waaronder bewegings- en voorspellingsresiduen, als compacte P-tokens. Over alle elf benchmarks heen presteert AdaCodec beter dan de Qwen3-VL-8B per-frame RGB-baseline bij een gematcht visueel tokenbudget. Zelfs met 1/7 van het budget overtreft AdaCodec met 32k tokens de 224k-baseline op alle langevideobenchmarks; op vijf algemene videobenchmarks verhoogt het de gemiddelde score terwijl het de tijd tot eerste token aanzienlijk verkort van 9,26 s naar 1,62 s.

English

Video is temporally redundant: adjacent frames usually share most objects, background, and layout. Yet existing video multimodal large language models (video MLLMs) usually encode each sampled frame as an independent RGB image, causing visual tokens to repeat content already present in earlier frames. This suggests a more direct video interface: send a full reference frame only when the scene cannot be predicted well from prior context, and otherwise transmit a compact description of inter-frame changes. We call this interface a predictive visual code, and instantiate it for video MLLMs as AdaCodec. AdaCodec spends full visual tokens on a reference frame only when its conditional predictive cost is high; otherwise, it encodes inter-frame changes, including motion and prediction residuals, as compact P-tokens. Across all eleven benchmarks, AdaCodec improves over the Qwen3-VL-8B per-frame RGB baseline at a matched visual-token budget. Even at 1/7 the budget, AdaCodec with 32k tokens surpasses the 224k baseline on all long-video benchmarks; on five general-video benchmarks, it raises the average score while substantially cutting time-to-first-token from 9.26s to 1.62s.