ResAdapt : Résolution Adaptative pour un Raisonnement Multimodal Efficace
ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning
March 30, 2026
Auteurs: Huanxuan Liao, Zhongtao Jiang, Yupu Hao, Yuqiao Tan, Shizhu He, Jun Zhao, Kun Xu, Kang Liu
cs.AI
Résumé
Les modèles de langage multimodaux de grande taille (MLLM) améliorent leur compréhension visuelle en augmentant la fidélité des entrées, mais la croissance résultante des tokens visuels rend prohibitif le maintien simultané d'une haute résolution spatiale et d'un long contexte temporel. Nous soutenons que le goulot d'étranglement ne réside pas dans la compression des représentations post-encodage, mais dans le volume de pixels que l'encodeur reçoit. Nous résolvons ce problème avec ResAdapt, un cadre d'adaptation côté entrée qui apprend quel budget visuel chaque image devrait recevoir avant l'encodage. ResAdapt couple un Allocateur léger avec un backbone MLLM inchangé, permettant au backbone de conserver son interface native de tokens visuels tout en recevant une entrée transformée par l'opérateur. Nous formulons l'allocation comme un bandit contextuel et entraînons l'Allocateur avec l'Optimisation de Politique Sensible au Coût (CAPO), qui convertit les retours d'évaluation épars en un signal d'apprentissage stable precision-coût. Sur des tâches contrôlées par le budget telles que le QA vidéo, l'ancrage temporel et le raisonnement sur images, ResAdapt améliore les points de fonctionnement à faible budget et se situe souvent sur ou près de la frontière efficacité-précision, avec les gains les plus nets sur les benchmarks intensifs en raisonnement sous compression agressive. Notablement, ResAdapt supporte jusqu'à 16 fois plus d'images à budget visuel égal tout en offrant un gain de performance supérieur à 15 %. Le code est disponible à l'adresse https://github.com/Xnhyacinth/ResAdapt.
English
Multimodal Large Language Models (MLLMs) achieve stronger visual understanding by scaling input fidelity, yet the resulting visual token growth makes jointly sustaining high spatial resolution and long temporal context prohibitive. We argue that the bottleneck lies not in how post-encoding representations are compressed but in the volume of pixels the encoder receives, and address it with ResAdapt, an Input-side adaptation framework that learns how much visual budget each frame should receive before encoding. ResAdapt couples a lightweight Allocator with an unchanged MLLM backbone, so the backbone retains its native visual-token interface while receiving an operator-transformed input. We formulate allocation as a contextual bandit and train the Allocator with Cost-Aware Policy Optimization (CAPO), which converts sparse rollout feedback into a stable accuracy-cost learning signal. Across budget-controlled video QA, temporal grounding, and image reasoning tasks, ResAdapt improves low-budget operating points and often lies on or near the efficiency-accuracy frontier, with the clearest gains on reasoning-intensive benchmarks under aggressive compression. Notably, ResAdapt supports up to 16x more frames at the same visual budget while delivering over 15% performance gain. Code is available at https://github.com/Xnhyacinth/ResAdapt.