ResAdapt: Adaptieve Resolutie voor Efficiënte Multimodale Redenering
ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning
March 30, 2026
Auteurs: Huanxuan Liao, Zhongtao Jiang, Yupu Hao, Yuqiao Tan, Shizhu He, Jun Zhao, Kun Xu, Kang Liu
cs.AI
Samenvatting
Multimodale Large Language Models (MLLM's) bereiken een sterker visueel begrip door de invoerfideliteit op te schalen, maar de resulterende groei van visuele tokens maakt het gezamenlijk handhaven van een hoge ruimtelijke resolutie en een lange temporele context onhaalbaar. Wij stellen dat de bottleneck niet ligt in hoe post-encoding representaties worden gecomprimeerd, maar in het volume pixels dat de encoder ontvangt, en adresseren dit met ResAdapt, een input-side adaptatieraamwerk dat leert hoeveel visueel budget elk frame zou moeten ontvangen vóór de encoding. ResAdapt koppelt een lichtgewicht Allocator aan een ongewijzigde MLLM-backbone, zodat de backbone zijn oorspronkelijke visuele token-interface behoudt terwijl hij een door de operator getransformeerde invoer ontvangt. Wij formuleren allocatie als een contextueel bandietenprobleem en trainen de Allocator met Cost-Aware Policy Optimization (CAPO), dat schaarse rollout-feedback omzet in een stabiel nauwkeurigheid-kosten-leersignaal. Over budget-gecontroleerde video QA, temporele grounding en beeldredeneertaken verbetert ResAdapt low-budget werkpunten en bevindt zich vaak op of nabij de efficiëntie-nauwkeurigheid-grens, met de duidelijkste winst op reasoning-intensieve benchmarks onder agressieve compressie. Opmerkelijk is dat ResAdapt tot 16x meer frames ondersteunt bij hetzelfde visuele budget, terwijl het een prestatieverbetering van meer dan 15% oplevert. Code is beschikbaar op https://github.com/Xnhyacinth/ResAdapt.
English
Multimodal Large Language Models (MLLMs) achieve stronger visual understanding by scaling input fidelity, yet the resulting visual token growth makes jointly sustaining high spatial resolution and long temporal context prohibitive. We argue that the bottleneck lies not in how post-encoding representations are compressed but in the volume of pixels the encoder receives, and address it with ResAdapt, an Input-side adaptation framework that learns how much visual budget each frame should receive before encoding. ResAdapt couples a lightweight Allocator with an unchanged MLLM backbone, so the backbone retains its native visual-token interface while receiving an operator-transformed input. We formulate allocation as a contextual bandit and train the Allocator with Cost-Aware Policy Optimization (CAPO), which converts sparse rollout feedback into a stable accuracy-cost learning signal. Across budget-controlled video QA, temporal grounding, and image reasoning tasks, ResAdapt improves low-budget operating points and often lies on or near the efficiency-accuracy frontier, with the clearest gains on reasoning-intensive benchmarks under aggressive compression. Notably, ResAdapt supports up to 16x more frames at the same visual budget while delivering over 15% performance gain. Code is available at https://github.com/Xnhyacinth/ResAdapt.