HoliTom: Holistische Token-Zusammenführung für schnelle Video-Großsprachmodelle

HoliTom: Holistic Token Merging for Fast Video Large Language Models

May 27, 2025

Autoren: Kele Shao, Keda Tao, Can Qin, Haoxuan You, Yang Sui, Huan Wang

cs.AI

Zusammenfassung

Video Large Language Models (Video LLMs) zeichnen sich durch ihre Fähigkeit zur Videoverständnis aus, leiden jedoch unter erheblicher Rechenineffizienz aufgrund redundanter Video-Tokens. Bestehende Token-Pruning-Methoden bieten Lösungen an. Ansätze, die innerhalb des LLM operieren (inner-LLM-Pruning), wie FastV, verursachen jedoch inhärenten Rechenaufwand in den oberflächlichen Schichten. Im Gegensatz dazu adressieren Methoden, die das Token-Pruning vor dem LLM durchführen (outer-LLM-Pruning), hauptsächlich räumliche Redundanz innerhalb einzelner Frames oder begrenzter zeitlicher Fenster, vernachlässigen jedoch die entscheidenden globalen zeitlichen Dynamiken und Korrelationen über längere Videosequenzen hinweg. Dies führt zu einer suboptimalen räumlich-zeitlichen Reduktion und nutzt die Komprimierbarkeit von Videos nicht vollständig aus. Entscheidend ist, dass das synergetische Potenzial und die gegenseitige Beeinflussung der Kombination dieser Strategien bisher unerforscht bleiben. Um die Redundanz weiter zu reduzieren, führen wir HoliTom ein, ein neuartiges, trainingsfreies, ganzheitliches Token-Merging-Framework. HoliTom verwendet outer-LLM-Pruning durch global redundanzbewusste zeitliche Segmentierung, gefolgt von räumlich-zeitlichem Merging, um visuelle Tokens um über 90% zu reduzieren und damit die Rechenlast des LLM erheblich zu verringern. Ergänzend dazu führen wir einen robusten inner-LLM-Token-Ähnlichkeits-basierten Merging-Ansatz ein, der für überlegene Leistung und Kompatibilität mit outer-LLM-Pruning entwickelt wurde. Evaluierungen zeigen das vielversprechende Effizienz-Leistungs-Verhältnis unserer Methode auf LLaVA-OneVision-7B, wobei die Rechenkosten auf 6,9% der FLOPs reduziert werden, während 99,1% der ursprünglichen Leistung erhalten bleiben. Darüber hinaus erreichen wir eine 2,28-fache Reduktion der Time-To-First-Token (TTFT) und eine 1,32-fache Beschleunigung des Decoding-Durchsatzes, was die praktischen Vorteile unseres integrierten Pruning-Ansatzes für eine effiziente Inferenz von Video-LLMs unterstreicht.

English

Video large language models (video LLMs) excel at video comprehension but face significant computational inefficiency due to redundant video tokens. Existing token pruning methods offer solutions. However, approaches operating within the LLM (inner-LLM pruning), such as FastV, incur intrinsic computational overhead in shallow layers. In contrast, methods performing token pruning before the LLM (outer-LLM pruning) primarily address spatial redundancy within individual frames or limited temporal windows, neglecting the crucial global temporal dynamics and correlations across longer video sequences. This leads to sub-optimal spatio-temporal reduction and does not leverage video compressibility fully. Crucially, the synergistic potential and mutual influence of combining these strategies remain unexplored. To further reduce redundancy, we introduce HoliTom, a novel training-free holistic token merging framework. HoliTom employs outer-LLM pruning through global redundancy-aware temporal segmentation, followed by spatial-temporal merging to reduce visual tokens by over 90%, significantly alleviating the LLM's computational burden. Complementing this, we introduce a robust inner-LLM token similarity-based merging approach, designed for superior performance and compatibility with outer-LLM pruning. Evaluations demonstrate our method's promising efficiency-performance trade-off on LLaVA-OneVision-7B, reducing computational costs to 6.9% of FLOPs while maintaining 99.1% of the original performance. Furthermore, we achieve a 2.28x reduction in Time-To-First-Token (TTFT) and a 1.32x acceleration in decoding throughput, highlighting the practical benefits of our integrated pruning approach for efficient video LLMs inference.