ResAdapt: Адаптивное разрешение для эффективного мультимодального рассуждения

ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning

March 30, 2026

Авторы: Huanxuan Liao, Zhongtao Jiang, Yupu Hao, Yuqiao Tan, Shizhu He, Jun Zhao, Kun Xu, Kang Liu

cs.AI

Аннотация

Мультимодальные большие языковые модели (MLLM) достигают более сильного визуального понимания за счет масштабирования точности входных данных, однако результирующий рост количества визуальных токенов делает совместное поддержание высокого пространственного разрешения и длительного временного контекста непозволительно дорогим. Мы утверждаем, что узкое место заключается не в том, как сжимаются представления после кодирования, а в объеме пикселей, которые получает энкодер, и решаем эту проблему с помощью ResAdapt — фреймворка адаптации на стороне входа, который обучается определять, какой объем визуального бюджета должна получить каждый кадр до кодирования. ResAdapt сочетает легковесный Аллокатор с неизмененной базовой архитектурой MLLM, что позволяет базовой модели сохранить свой native интерфейс для работы с визуальными токенами, при этом получая преобразованный оператором вход. Мы формулируем распределение ресурсов как контекстуальную бандитскую задачу и обучаем Аллокатор с помощью Cost-Aware Policy Optimization (CAPO), которая преобразует разреженную обратную связь от rollout в стабильный сигнал обучения, учитывающий точность и стоимость. В задачах видео-QA, темпорального позиционирования и визуального рассуждения с контролируемым бюджетом ResAdapt улучшает рабочие точки при низком бюджете и часто лежит на границе или вблизи границы эффективность-точность, с наиболее явным выигрышем на тестах, требующих интенсивного рассуждения, при агрессивном сжатии. Примечательно, что ResAdapt поддерживает до 16x больше кадров при том же визуальном бюджете, обеспечивая прирост производительности более 15%. Код доступен по адресу https://github.com/Xnhyacinth/ResAdapt.

English

Multimodal Large Language Models (MLLMs) achieve stronger visual understanding by scaling input fidelity, yet the resulting visual token growth makes jointly sustaining high spatial resolution and long temporal context prohibitive. We argue that the bottleneck lies not in how post-encoding representations are compressed but in the volume of pixels the encoder receives, and address it with ResAdapt, an Input-side adaptation framework that learns how much visual budget each frame should receive before encoding. ResAdapt couples a lightweight Allocator with an unchanged MLLM backbone, so the backbone retains its native visual-token interface while receiving an operator-transformed input. We formulate allocation as a contextual bandit and train the Allocator with Cost-Aware Policy Optimization (CAPO), which converts sparse rollout feedback into a stable accuracy-cost learning signal. Across budget-controlled video QA, temporal grounding, and image reasoning tasks, ResAdapt improves low-budget operating points and often lies on or near the efficiency-accuracy frontier, with the clearest gains on reasoning-intensive benchmarks under aggressive compression. Notably, ResAdapt supports up to 16x more frames at the same visual budget while delivering over 15% performance gain. Code is available at https://github.com/Xnhyacinth/ResAdapt.