AdaCodec: Ein prädiktiver visueller Code für Video-MLLMs

Zusammenfassung

Video ist zeitlich redundant: Benachbarte Frames teilen sich in der Regel die meisten Objekte, den Hintergrund und das Layout. Dennoch codieren bestehende videomultimodale große Sprachmodelle (Video-MLLMs) üblicherweise jedes abgetastete Frame als unabhängiges RGB-Bild, was dazu führt, dass visuelle Token Inhalte wiederholen, die bereits in früheren Frames vorhanden sind. Dies legt eine direktere Schnittstelle für Video nahe: Sende ein vollständiges Referenz-Frame nur dann, wenn die Szene nicht gut aus dem vorherigen Kontext vorhersagbar ist, und übermittle ansonsten eine kompakte Beschreibung der Änderungen zwischen den Frames. Diese Schnittstelle bezeichnen wir als prädiktiven visuellen Code und setzen sie für Video-MLLMs als AdaCodec um. AdaCodec verwendet vollständige visuelle Token für ein Referenz-Frame nur dann, wenn dessen bedingte prädiktive Kosten hoch sind; andernfalls codiert es Änderungen zwischen den Frames, einschließlich Bewegung und Vorhersageresiduen, als kompakte P-Token. Über alle elf Benchmarks hinweg verbessert AdaCodec die Pro-Frame-RGB-Baseline von Qwen3-VL-8B bei gleichem visuellen Token-Budget. Selbst bei einem Siebtel des Budgets übertrifft AdaCodec mit 32k Token die 224k-Baseline auf allen Langvideo-Benchmarks; bei fünf allgemeinen Videobenchmarks steigert es die Durchschnittspunktzahl, während es die Zeit bis zum ersten Token von 9,26 s auf 1,62 s deutlich reduziert.

English

Video is temporally redundant: adjacent frames usually share most objects, background, and layout. Yet existing video multimodal large language models (video MLLMs) usually encode each sampled frame as an independent RGB image, causing visual tokens to repeat content already present in earlier frames. This suggests a more direct video interface: send a full reference frame only when the scene cannot be predicted well from prior context, and otherwise transmit a compact description of inter-frame changes. We call this interface a predictive visual code, and instantiate it for video MLLMs as AdaCodec. AdaCodec spends full visual tokens on a reference frame only when its conditional predictive cost is high; otherwise, it encodes inter-frame changes, including motion and prediction residuals, as compact P-tokens. Across all eleven benchmarks, AdaCodec improves over the Qwen3-VL-8B per-frame RGB baseline at a matched visual-token budget. Even at 1/7 the budget, AdaCodec with 32k tokens surpasses the 224k baseline on all long-video benchmarks; on five general-video benchmarks, it raises the average score while substantially cutting time-to-first-token from 9.26s to 1.62s.