HoliTom : Fusion holistique de tokens pour des modèles de langage massif vidéo rapides

HoliTom: Holistic Token Merging for Fast Video Large Language Models

May 27, 2025

Auteurs: Kele Shao, Keda Tao, Can Qin, Haoxuan You, Yang Sui, Huan Wang

cs.AI

Résumé

Les modèles de langage de grande taille pour la vidéo (video LLMs) excellent dans la compréhension vidéo mais se heurtent à une inefficacité computationnelle significative due à la redondance des tokens vidéo. Les méthodes existantes d'élagage de tokens offrent des solutions. Cependant, les approches opérant au sein du LLM (élagage interne au LLM), telles que FastV, entraînent une surcharge computationnelle intrinsèque dans les couches superficielles. En revanche, les méthodes effectuant l'élagage des tokens avant le LLM (élagage externe au LLM) se concentrent principalement sur la redondance spatiale au sein des images individuelles ou de fenêtres temporelles limitées, négligeant les dynamiques temporelles globales et les corrélations cruciales sur des séquences vidéo plus longues. Cela conduit à une réduction spatio-temporelle sous-optimale et n'exploite pas pleinement la compressibilité de la vidéo. De manière cruciale, le potentiel synergique et l'influence mutuelle de la combinaison de ces stratégies restent inexplorés. Pour réduire davantage la redondance, nous introduisons HoliTom, un nouveau cadre d'intégration holistique de tokens sans entraînement. HoliTom utilise l'élagage externe au LLM via une segmentation temporelle globale prenant en compte la redondance, suivie d'une fusion spatio-temporelle pour réduire les tokens visuels de plus de 90%, allégeant ainsi considérablement la charge computationnelle du LLM. En complément, nous proposons une approche robuste d'intégration de tokens basée sur la similarité interne au LLM, conçue pour une performance supérieure et une compatibilité avec l'élagage externe au LLM. Les évaluations démontrent le compromis prometteur entre efficacité et performance de notre méthode sur LLaVA-OneVision-7B, réduisant les coûts computationnels à 6,9% des FLOPs tout en maintenant 99,1% de la performance originale. De plus, nous obtenons une réduction de 2,28x du temps jusqu'au premier token (TTFT) et une accélération de 1,32x du débit de décodage, mettant en évidence les avantages pratiques de notre approche intégrée d'élagage pour une inférence efficace des video LLMs.

English

Video large language models (video LLMs) excel at video comprehension but face significant computational inefficiency due to redundant video tokens. Existing token pruning methods offer solutions. However, approaches operating within the LLM (inner-LLM pruning), such as FastV, incur intrinsic computational overhead in shallow layers. In contrast, methods performing token pruning before the LLM (outer-LLM pruning) primarily address spatial redundancy within individual frames or limited temporal windows, neglecting the crucial global temporal dynamics and correlations across longer video sequences. This leads to sub-optimal spatio-temporal reduction and does not leverage video compressibility fully. Crucially, the synergistic potential and mutual influence of combining these strategies remain unexplored. To further reduce redundancy, we introduce HoliTom, a novel training-free holistic token merging framework. HoliTom employs outer-LLM pruning through global redundancy-aware temporal segmentation, followed by spatial-temporal merging to reduce visual tokens by over 90%, significantly alleviating the LLM's computational burden. Complementing this, we introduce a robust inner-LLM token similarity-based merging approach, designed for superior performance and compatibility with outer-LLM pruning. Evaluations demonstrate our method's promising efficiency-performance trade-off on LLaVA-OneVision-7B, reducing computational costs to 6.9% of FLOPs while maintaining 99.1% of the original performance. Furthermore, we achieve a 2.28x reduction in Time-To-First-Token (TTFT) and a 1.32x acceleration in decoding throughput, highlighting the practical benefits of our integrated pruning approach for efficient video LLMs inference.