HoliTom: Fusione Olistica dei Token per Modelli Linguistici di Grande Dimensione su Video Veloci

HoliTom: Holistic Token Merging for Fast Video Large Language Models

May 27, 2025

Autori: Kele Shao, Keda Tao, Can Qin, Haoxuan You, Yang Sui, Huan Wang

cs.AI

Abstract

I modelli linguistici di grandi dimensioni per video (video LLM) eccellono nella comprensione video, ma affrontano una significativa inefficienza computazionale a causa della ridondanza dei token video. I metodi esistenti di pruning dei token offrono soluzioni. Tuttavia, gli approcci che operano all'interno del LLM (pruning interno-LLM), come FastV, comportano un sovraccarico computazionale intrinseco negli strati superficiali. Al contrario, i metodi che eseguono il pruning dei token prima del LLM (pruning esterno-LLM) affrontano principalmente la ridondanza spaziale all'interno di singoli fotogrammi o di finestre temporali limitate, trascurando le cruciali dinamiche temporali globali e le correlazioni attraverso sequenze video più lunghe. Ciò porta a una riduzione spazio-temporale subottimale e non sfrutta appieno la comprimibilità del video. In modo cruciale, il potenziale sinergico e l'influenza reciproca della combinazione di queste strategie rimangono inesplorati. Per ridurre ulteriormente la ridondanza, introduciamo HoliTom, un nuovo framework di fusione olistica dei token senza addestramento. HoliTom utilizza il pruning esterno-LLM attraverso la segmentazione temporale globale consapevole della ridondanza, seguita dalla fusione spazio-temporale per ridurre i token visivi di oltre il 90%, alleviando significativamente il carico computazionale del LLM. A complemento, introduciamo un robusto approccio di fusione basato sulla similarità dei token interno-LLM, progettato per prestazioni superiori e compatibilità con il pruning esterno-LLM. Le valutazioni dimostrano il promettente compromesso efficienza-prestazioni del nostro metodo su LLaVA-OneVision-7B, riducendo i costi computazionali al 6,9% dei FLOP mantenendo il 99,1% delle prestazioni originali. Inoltre, otteniamo una riduzione di 2,28x nel Time-To-First-Token (TTFT) e un'accelerazione di 1,32x nel throughput di decodifica, evidenziando i benefici pratici del nostro approccio integrato di pruning per un'inferenza efficiente dei video LLM.

English

Video large language models (video LLMs) excel at video comprehension but face significant computational inefficiency due to redundant video tokens. Existing token pruning methods offer solutions. However, approaches operating within the LLM (inner-LLM pruning), such as FastV, incur intrinsic computational overhead in shallow layers. In contrast, methods performing token pruning before the LLM (outer-LLM pruning) primarily address spatial redundancy within individual frames or limited temporal windows, neglecting the crucial global temporal dynamics and correlations across longer video sequences. This leads to sub-optimal spatio-temporal reduction and does not leverage video compressibility fully. Crucially, the synergistic potential and mutual influence of combining these strategies remain unexplored. To further reduce redundancy, we introduce HoliTom, a novel training-free holistic token merging framework. HoliTom employs outer-LLM pruning through global redundancy-aware temporal segmentation, followed by spatial-temporal merging to reduce visual tokens by over 90%, significantly alleviating the LLM's computational burden. Complementing this, we introduce a robust inner-LLM token similarity-based merging approach, designed for superior performance and compatibility with outer-LLM pruning. Evaluations demonstrate our method's promising efficiency-performance trade-off on LLaVA-OneVision-7B, reducing computational costs to 6.9% of FLOPs while maintaining 99.1% of the original performance. Furthermore, we achieve a 2.28x reduction in Time-To-First-Token (TTFT) and a 1.32x acceleration in decoding throughput, highlighting the practical benefits of our integrated pruning approach for efficient video LLMs inference.