HoliTom: Холистическое объединение токенов для ускорения работы крупных языковых моделей в видео

HoliTom: Holistic Token Merging for Fast Video Large Language Models

May 27, 2025

Авторы: Kele Shao, Keda Tao, Can Qin, Haoxuan You, Yang Sui, Huan Wang

cs.AI

Аннотация

Модели обработки видео на основе больших языковых моделей (video LLMs) демонстрируют высокие результаты в понимании видео, но сталкиваются с существенной вычислительной неэффективностью из-за избыточных видео-токенов. Существующие методы обрезки токенов предлагают решения. Однако подходы, работающие внутри LLM (внутренняя обрезка), такие как FastV, несут внутренние вычислительные накладные расходы на начальных слоях. В то же время методы, выполняющие обрезку токенов до LLM (внешняя обрезка), в основном устраняют пространственную избыточность в пределах отдельных кадров или ограниченных временных окон, игнорируя важные глобальные временные динамики и корреляции в более длинных видео-последовательностях. Это приводит к неоптимальному пространственно-временному сокращению и не полностью использует сжимаемость видео. Ключевым моментом является то, что синергетический потенциал и взаимное влияние комбинации этих стратегий остаются неисследованными. Для дальнейшего сокращения избыточности мы представляем HoliTom — новый фреймворк для объединения токенов, не требующий обучения. HoliTom использует внешнюю обрезку через глобальную временную сегментацию с учетом избыточности, за которой следует пространственно-временное объединение, что позволяет сократить количество визуальных токенов более чем на 90%, значительно снижая вычислительную нагрузку на LLM. Дополняя это, мы предлагаем устойчивый метод внутреннего объединения токенов на основе их сходства, разработанный для превосходной производительности и совместимости с внешней обрезкой. Оценки демонстрируют перспективный баланс эффективности и производительности нашего метода на модели LLaVA-OneVision-7B, сокращая вычислительные затраты до 6,9% от FLOPs при сохранении 99,1% исходной производительности. Кроме того, мы достигаем 2,28-кратного сокращения времени до первого токена (TTFT) и 1,32-кратного ускорения пропускной способности декодирования, подчеркивая практические преимущества нашего интегрированного подхода к обрезке для эффективного вывода видео LLM.

English

Video large language models (video LLMs) excel at video comprehension but face significant computational inefficiency due to redundant video tokens. Existing token pruning methods offer solutions. However, approaches operating within the LLM (inner-LLM pruning), such as FastV, incur intrinsic computational overhead in shallow layers. In contrast, methods performing token pruning before the LLM (outer-LLM pruning) primarily address spatial redundancy within individual frames or limited temporal windows, neglecting the crucial global temporal dynamics and correlations across longer video sequences. This leads to sub-optimal spatio-temporal reduction and does not leverage video compressibility fully. Crucially, the synergistic potential and mutual influence of combining these strategies remain unexplored. To further reduce redundancy, we introduce HoliTom, a novel training-free holistic token merging framework. HoliTom employs outer-LLM pruning through global redundancy-aware temporal segmentation, followed by spatial-temporal merging to reduce visual tokens by over 90%, significantly alleviating the LLM's computational burden. Complementing this, we introduce a robust inner-LLM token similarity-based merging approach, designed for superior performance and compatibility with outer-LLM pruning. Evaluations demonstrate our method's promising efficiency-performance trade-off on LLaVA-OneVision-7B, reducing computational costs to 6.9% of FLOPs while maintaining 99.1% of the original performance. Furthermore, we achieve a 2.28x reduction in Time-To-First-Token (TTFT) and a 1.32x acceleration in decoding throughput, highlighting the practical benefits of our integrated pruning approach for efficient video LLMs inference.