Script : Élagage sémantique de jetons structuré en graphe et conditionné par requête pour les modèles de langage multimodaux de grande taille

Script: Graph-Structured and Query-Conditioned Semantic Token Pruning for Multimodal Large Language Models

December 1, 2025

papers.authors: Zhongyu Yang, Dannong Xu, Wei Pang, Yingfang Yuan

cs.AI

papers.abstract

La croissance rapide des tokens visuels dans les modèles de langage multimodaux de grande taille (MLLM) entraîne une consommation excessive de mémoire et une latence d'inférence élevée, particulièrement lors du traitement d'images et de vidéos en haute résolution. L'élagage de tokens est une technique utilisée pour atténuer ce problème en supprimant les redondances, mais les méthodes existantes négligent souvent la pertinence par rapport à la requête utilisateur ou souffrent des limitations des mécanismes d'attention, réduisant ainsi leur adaptabilité et leur efficacité. Pour relever ces défis, nous proposons Script, une méthode d'élagage prête à l'emploi qui ne nécessite pas de réentraînement et qui généralise à divers MLLM. Script comprend deux modules : un module d'élagage à structure graphique qui supprime les tokens visuels redondants, et un module d'élagage sémantique conditionné par la requête qui préserve les informations visuelles pertinentes. Ensemble, ils améliorent les performances sur les tâches multimodales. Les expériences menées sur quatorze benchmarks couvrant des tâches de compréhension d'images et de vidéos montrent que Script atteint constamment une meilleure efficacité du modèle et une précision prédictive supérieure par rapport aux méthodes d'élagage existantes. Sur LLaVA-NeXT-7B, il permet une accélération du préremplissage jusqu'à 6,8x et une réduction de 10x des FLOP, tout en conservant 96,88 % des performances originales.

English

The rapid growth of visual tokens in multimodal large language models (MLLMs) leads to excessive memory consumption and inference latency, especially when handling high-resolution images and videos. Token pruning is a technique used to mitigate this issue by removing redundancy, but existing methods often ignore relevance to the user query or suffer from the limitations of attention mechanisms, reducing their adaptability and effectiveness. To address these challenges, we propose Script, a plug-and-play pruning method that requires no retraining and generalizes across diverse MLLMs. Script comprises two modules: a graph-structured pruning module that removes visually redundant tokens, and a query-conditioned semantic pruning module that preserves query-relevant visual information. Together, they enhance performance on multimodal tasks. Experiments on fourteen benchmarks across image and video understanding tasks show that Script consistently achieves higher model efficiency and predictive accuracy compared to existing pruning methods. On LLaVA-NeXT-7B, it achieves up to 6.8x prefill speedup and 10x FLOP reduction, while retaining 96.88% of the original performance.