HoliTom: Fusão Holística de Tokens para Modelos de Linguagem de Grande Escala em Vídeo Rápidos

HoliTom: Holistic Token Merging for Fast Video Large Language Models

May 27, 2025

Autores: Kele Shao, Keda Tao, Can Qin, Haoxuan You, Yang Sui, Huan Wang

cs.AI

Resumo

Modelos de linguagem de grande escala para vídeo (video LLMs) se destacam na compreensão de vídeos, mas enfrentam ineficiências computacionais significativas devido a tokens de vídeo redundantes. Métodos existentes de poda de tokens oferecem soluções. No entanto, abordagens que operam dentro do LLM (poda interna ao LLM), como o FastV, incorrem em sobrecarga computacional intrínseca nas camadas superficiais. Em contraste, métodos que realizam a poda de tokens antes do LLM (poda externa ao LLM) abordam principalmente a redundância espacial dentro de quadros individuais ou janelas temporais limitadas, negligenciando as dinâmicas temporais globais e as correlações cruciais em sequências de vídeo mais longas. Isso resulta em uma redução espaço-temporal subótima e não aproveita totalmente a compressibilidade do vídeo. Crucialmente, o potencial sinérgico e a influência mútua da combinação dessas estratégias permanecem inexplorados. Para reduzir ainda mais a redundância, introduzimos o HoliTom, uma nova estrutura de fusão holística de tokens sem necessidade de treinamento. O HoliTom emprega a poda externa ao LLM por meio de segmentação temporal global consciente da redundância, seguida de fusão espaço-temporal para reduzir os tokens visuais em mais de 90%, aliviando significativamente a carga computacional do LLM. Complementando isso, introduzimos uma abordagem robusta de fusão de tokens baseada em similaridade interna ao LLM, projetada para desempenho superior e compatibilidade com a poda externa ao LLM. Avaliações demonstram a promissora relação eficiência-desempenho do nosso método no LLaVA-OneVision-7B, reduzindo os custos computacionais para 6,9% dos FLOPs enquanto mantém 99,1% do desempenho original. Além disso, alcançamos uma redução de 2,28x no Tempo para o Primeiro Token (TTFT) e uma aceleração de 1,32x na taxa de decodificação, destacando os benefícios práticos da nossa abordagem integrada de poda para inferência eficiente de video LLMs.

English

Video large language models (video LLMs) excel at video comprehension but face significant computational inefficiency due to redundant video tokens. Existing token pruning methods offer solutions. However, approaches operating within the LLM (inner-LLM pruning), such as FastV, incur intrinsic computational overhead in shallow layers. In contrast, methods performing token pruning before the LLM (outer-LLM pruning) primarily address spatial redundancy within individual frames or limited temporal windows, neglecting the crucial global temporal dynamics and correlations across longer video sequences. This leads to sub-optimal spatio-temporal reduction and does not leverage video compressibility fully. Crucially, the synergistic potential and mutual influence of combining these strategies remain unexplored. To further reduce redundancy, we introduce HoliTom, a novel training-free holistic token merging framework. HoliTom employs outer-LLM pruning through global redundancy-aware temporal segmentation, followed by spatial-temporal merging to reduce visual tokens by over 90%, significantly alleviating the LLM's computational burden. Complementing this, we introduce a robust inner-LLM token similarity-based merging approach, designed for superior performance and compatibility with outer-LLM pruning. Evaluations demonstrate our method's promising efficiency-performance trade-off on LLaVA-OneVision-7B, reducing computational costs to 6.9% of FLOPs while maintaining 99.1% of the original performance. Furthermore, we achieve a 2.28x reduction in Time-To-First-Token (TTFT) and a 1.32x acceleration in decoding throughput, highlighting the practical benefits of our integrated pruning approach for efficient video LLMs inference.