HoliTom: Holistische Token-samenvoeging voor Snelle Video Large Language Models

HoliTom: Holistic Token Merging for Fast Video Large Language Models

May 27, 2025

Auteurs: Kele Shao, Keda Tao, Can Qin, Haoxuan You, Yang Sui, Huan Wang

cs.AI

Samenvatting

Video large language models (video LLMs) blinken uit in videobegrip, maar kampen met aanzienlijke computationele inefficiëntie door overbodige videotokens. Bestaande methoden voor token pruning bieden oplossingen. Echter, benaderingen die binnen de LLM werken (inner-LLM pruning), zoals FastV, veroorzaken intrinsieke computationele overhead in ondiepe lagen. Daarentegen richten methoden die token pruning uitvoeren vóór de LLM (outer-LLM pruning) zich voornamelijk op ruimtelijke redundantie binnen individuele frames of beperkte temporele vensters, waarbij de cruciale globale temporele dynamiek en correlaties over langere videosequenties worden verwaarloosd. Dit leidt tot suboptimale spatio-temporele reductie en benut de videocompressie niet volledig. Cruciaal is dat het synergetische potentieel en de wederzijdse invloed van het combineren van deze strategieën onontgonnen blijven. Om redundantie verder te verminderen, introduceren we HoliTom, een nieuw trainingsvrij holistisch token merging-framework. HoliTom past outer-LLM pruning toe via globale redundantiebewuste temporele segmentatie, gevolgd door ruimtelijk-temporele merging om visuele tokens met meer dan 90% te verminderen, waardoor de computationele belasting van de LLM aanzienlijk wordt verlicht. Als aanvulling hierop introduceren we een robuuste inner-LLM token similarity-based merging-benadering, ontworpen voor superieure prestaties en compatibiliteit met outer-LLM pruning. Evaluaties tonen de veelbelovende efficiëntie-prestatieverhouding van onze methode op LLaVA-OneVision-7B, waarbij de computationele kosten worden teruggebracht tot 6,9% van de FLOPs terwijl 99,1% van de oorspronkelijke prestaties behouden blijft. Bovendien bereiken we een 2,28x reductie in Time-To-First-Token (TTFT) en een 1,32x versnelling in decodeerdoorvoer, wat de praktische voordelen van onze geïntegreerde pruning-benadering voor efficiënte video LLM-inferentie benadrukt.

English

Video large language models (video LLMs) excel at video comprehension but face significant computational inefficiency due to redundant video tokens. Existing token pruning methods offer solutions. However, approaches operating within the LLM (inner-LLM pruning), such as FastV, incur intrinsic computational overhead in shallow layers. In contrast, methods performing token pruning before the LLM (outer-LLM pruning) primarily address spatial redundancy within individual frames or limited temporal windows, neglecting the crucial global temporal dynamics and correlations across longer video sequences. This leads to sub-optimal spatio-temporal reduction and does not leverage video compressibility fully. Crucially, the synergistic potential and mutual influence of combining these strategies remain unexplored. To further reduce redundancy, we introduce HoliTom, a novel training-free holistic token merging framework. HoliTom employs outer-LLM pruning through global redundancy-aware temporal segmentation, followed by spatial-temporal merging to reduce visual tokens by over 90%, significantly alleviating the LLM's computational burden. Complementing this, we introduce a robust inner-LLM token similarity-based merging approach, designed for superior performance and compatibility with outer-LLM pruning. Evaluations demonstrate our method's promising efficiency-performance trade-off on LLaVA-OneVision-7B, reducing computational costs to 6.9% of FLOPs while maintaining 99.1% of the original performance. Furthermore, we achieve a 2.28x reduction in Time-To-First-Token (TTFT) and a 1.32x acceleration in decoding throughput, highlighting the practical benefits of our integrated pruning approach for efficient video LLMs inference.