AdaCodec : Un code visuel prédictif pour les MLLMs vidéo

Résumé

La vidéo est temporellement redondante : les images adjacentes partagent généralement la plupart des objets, de l'arrière-plan et de la disposition. Pourtant, les modèles multimodaux de grands langages existants pour la vidéo (vidéo MLLM) encodent habituellement chaque image échantillonnée comme une image RVB indépendante, ce qui fait que les jetons visuels répètent un contenu déjà présent dans les images antérieures. Cela suggère une interface vidéo plus directe : n'envoyer une image de référence complète que lorsque la scène ne peut être correctement prédite à partir du contexte antérieur, et autrement transmettre une description compacte des changements entre images. Nous appelons cette interface un code visuel prédictif, et nous l'instancions pour les vidéo MLLM sous le nom d'AdaCodec. AdaCodec alloue des jetons visuels complets à une image de référence uniquement lorsque son coût de prédiction conditionnel est élevé ; sinon, il encode les changements entre images, y compris le mouvement et les résidus de prédiction, sous forme de jetons P compacts. Sur l'ensemble des onze benchmarks, AdaCodec améliore la baseline RVB par image de Qwen3-VL-8B avec un budget de jetons visuels équivalent. Même avec un budget réduit à 1/7, AdaCodec avec 32 000 jetons dépasse la baseline de 224 000 jetons sur tous les benchmarks de vidéos longues ; sur cinq benchmarks de vidéos générales, il augmente le score moyen tout en réduisant considérablement le temps avant le premier jeton, de 9,26 s à 1,62 s.

English

Video is temporally redundant: adjacent frames usually share most objects, background, and layout. Yet existing video multimodal large language models (video MLLMs) usually encode each sampled frame as an independent RGB image, causing visual tokens to repeat content already present in earlier frames. This suggests a more direct video interface: send a full reference frame only when the scene cannot be predicted well from prior context, and otherwise transmit a compact description of inter-frame changes. We call this interface a predictive visual code, and instantiate it for video MLLMs as AdaCodec. AdaCodec spends full visual tokens on a reference frame only when its conditional predictive cost is high; otherwise, it encodes inter-frame changes, including motion and prediction residuals, as compact P-tokens. Across all eleven benchmarks, AdaCodec improves over the Qwen3-VL-8B per-frame RGB baseline at a matched visual-token budget. Even at 1/7 the budget, AdaCodec with 32k tokens surpasses the 224k baseline on all long-video benchmarks; on five general-video benchmarks, it raises the average score while substantially cutting time-to-first-token from 9.26s to 1.62s.