ResAdapt: Adaptive Auflösung für effizientes multimodales Schließen
ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning
March 30, 2026
Autoren: Huanxuan Liao, Zhongtao Jiang, Yupu Hao, Yuqiao Tan, Shizhu He, Jun Zhao, Kun Xu, Kang Liu
cs.AI
Zusammenfassung
Multimodale Large Language Models (MLLMs) erreichen ein stärkeres visuelles Verständnis durch die Skalierung der Eingabetreue, doch das daraus resultierende Wachstum visueller Tokens macht die gleichzeitige Beibehaltung einer hohen räumlichen Auflösung und eines langen zeitlichen Kontexts prohibitiv. Wir argumentieren, dass der Engpass nicht in der Komprimierung der nach der Kodierung erzeugten Repräsentationen liegt, sondern in der Menge der Pixel, die der Encoder empfängt, und adressieren dies mit ResAdapt, einem Eingabe-seitigen Adaptierungsframework, das lernt, wie viel visuelles Budget jeder Frame vor der Kodierung erhalten soll. ResAdapt kombiniert einen leichtgewichtigen Allokator mit einem unveränderten MLLM-Backbone, sodass der Backbone seine native Visual-Token-Schnittstelle beibehält, während er einen durch den Operator transformierten Input empfängt. Wir formulieren die Zuteilung als kontextuelles Banditenproblem und trainieren den Allokator mit Cost-Aware Policy Optimization (CAPO), das spärliches Rollout-Feedback in ein stabiles Genauigkeits-Kosten-Lernsignal umwandelt. In budgetkontrollierten Video-QA-, Temporal-Grounding- und Bildreasoning-Aufgaben verbessert ResAdapt Betriebspunkte mit niedrigem Budget und liegt oft auf oder nahe der Effizienz-Genauigkeits-Grenze, mit den deutlichsten Gewinnen auf reasoning-intensiven Benchmarks unter aggressiver Kompression. Besonders bemerkenswert ist, dass ResAdapt bei gleichem visuellem Budget bis zu 16x mehr Frames unterstützt und dabei einen Leistungsgewinn von über 15 % liefert. Code ist verfügbar unter https://github.com/Xnhyacinth/ResAdapt.
English
Multimodal Large Language Models (MLLMs) achieve stronger visual understanding by scaling input fidelity, yet the resulting visual token growth makes jointly sustaining high spatial resolution and long temporal context prohibitive. We argue that the bottleneck lies not in how post-encoding representations are compressed but in the volume of pixels the encoder receives, and address it with ResAdapt, an Input-side adaptation framework that learns how much visual budget each frame should receive before encoding. ResAdapt couples a lightweight Allocator with an unchanged MLLM backbone, so the backbone retains its native visual-token interface while receiving an operator-transformed input. We formulate allocation as a contextual bandit and train the Allocator with Cost-Aware Policy Optimization (CAPO), which converts sparse rollout feedback into a stable accuracy-cost learning signal. Across budget-controlled video QA, temporal grounding, and image reasoning tasks, ResAdapt improves low-budget operating points and often lies on or near the efficiency-accuracy frontier, with the clearest gains on reasoning-intensive benchmarks under aggressive compression. Notably, ResAdapt supports up to 16x more frames at the same visual budget while delivering over 15% performance gain. Code is available at https://github.com/Xnhyacinth/ResAdapt.