AdaptToken: Энтропийная адаптивная селекция токенов для понимания длинных видео в мультимодальных больших языковых моделях

AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding

March 30, 2026

Авторы: Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

cs.AI

Аннотация

Понимание длинных видео остается сложной задачей для мультимодальных больших языковых моделей (MБЯМ) из-за высоких затрат памяти и ограничений длины контекста. Существующие подходы решают эту проблему путем оценки и выбора кадров/токенов внутри коротких клипов, но им не хватает принципиального механизма для (i) сравнения релевантности между удаленными видеофрагментами и (ii) остановки обработки после сбора достаточных доказательств. Мы предлагаем AdaptToken, беспарадигменную фреймворк, которая преобразует внутреннюю неопределенность МБЯМ в глобальный управляющий сигнал для выбора токенов в длинных видео. AdaptToken разделяет видео на группы, извлекает кросс-модальное внимание для ранжирования токенов внутри каждой группы и использует энтропию ответа модели для оценки релевантности каждой группы запросу. Этот энтропийный сигнал позволяет осуществлять глобальное распределение бюджета токенов между группами и дополнительно поддерживает досрочную остановку (AdaptToken-Lite), пропуская оставшиеся группы, когда модель становится достаточно уверенной. На четырех наборах данных для длинных видео (VideoMME, LongVideoBench, LVBench и MLVU) и с различными базовыми МБЯМ (7B-72B) AdaptToken стабильно повышает точность (например, в среднем на +6.7 для Qwen2.5-VL 7B) и продолжает получать преимущество от обработки чрезвычайно длинных входных данных (до 10K кадров), в то время как AdaptToken-Lite сокращает время вывода примерно вдвое при сопоставимой производительности. Страница проекта: https://haozheqi.github.io/adapt-token

English

Long video understanding remains challenging for Multi-modal Large Language Models (MLLMs) due to high memory costs and context-length limits. Prior approaches mitigate this by scoring and selecting frames/tokens within short clips, but they lack a principled mechanism to (i) compare relevance across distant video clips and (ii) stop processing once sufficient evidence has been gathered. We propose AdaptToken, a training-free framework that turns an MLLM's self-uncertainty into a global control signal for long-video token selection. AdaptToken splits a video into groups, extracts cross-modal attention to rank tokens within each group, and uses the model's response entropy to estimate each group's prompt relevance. This entropy signal enables a global token budget allocation across groups and further supports early stopping (AdaptToken-Lite), skipping the remaining groups when the model becomes sufficiently certain. Across four long-video benchmarks (VideoMME, LongVideoBench, LVBench, and MLVU) and multiple base MLLMs (7B-72B), AdaptToken consistently improves accuracy (e.g., +6.7 on average over Qwen2.5-VL 7B) and continues to benefit from extremely long inputs (up to 10K frames), while AdaptToken-Lite reduces inference time by about half with comparable performance. Project page: https://haozheqi.github.io/adapt-token