Script: Grafgestructureerde en Query-geconditioneerde Semantische Tokenversnoeiing voor Multimodale Grote Taalmodellen

Script: Graph-Structured and Query-Conditioned Semantic Token Pruning for Multimodal Large Language Models

December 1, 2025

Auteurs: Zhongyu Yang, Dannong Xu, Wei Pang, Yingfang Yuan

cs.AI

Samenvatting

De snelle groei van visuele tokens in multimodale grote taalmodellen (MLLM's) leidt tot excessief geheugengebruik en inferentielatentie, vooral bij het verwerken van hoge-resolutiebeelden en video's. Tokenpruning is een techniek om dit probleem te verminderen door redundantie te verwijderen, maar bestaande methoden negeren vaak de relevantie voor de gebruikersquery of lijden onder de beperkingen van aandachtmechanismen, wat hun aanpasbaarheid en effectiviteit vermindert. Om deze uitdagingen aan te pakken, stellen we Script voor, een plug-and-play pruningmethode die geen hertraining vereist en generaliseert over diverse MLLM's. Script bestaat uit twee modules: een grafisch gestructureerde pruningmodule die visueel redundante tokens verwijdert, en een query-gestuurde semantische pruningmodule die query-relevante visuele informatie behoudt. Samen verbeteren ze de prestaties op multimodale taken. Experimenten op veertien benchmarks voor beeld- en videobegriptaken tonen aan dat Script consistent hogere model efficiëntie en voorspellende nauwkeurigheid bereikt in vergelijking met bestaande pruningmethoden. Op LLaVA-NeXT-7B bereikt het tot 6,8x versnelling in de prefill-fase en een 10x reductie in FLOP's, terwijl 96,88% van de oorspronkelijke prestaties behouden blijft.

English

The rapid growth of visual tokens in multimodal large language models (MLLMs) leads to excessive memory consumption and inference latency, especially when handling high-resolution images and videos. Token pruning is a technique used to mitigate this issue by removing redundancy, but existing methods often ignore relevance to the user query or suffer from the limitations of attention mechanisms, reducing their adaptability and effectiveness. To address these challenges, we propose Script, a plug-and-play pruning method that requires no retraining and generalizes across diverse MLLMs. Script comprises two modules: a graph-structured pruning module that removes visually redundant tokens, and a query-conditioned semantic pruning module that preserves query-relevant visual information. Together, they enhance performance on multimodal tasks. Experiments on fourteen benchmarks across image and video understanding tasks show that Script consistently achieves higher model efficiency and predictive accuracy compared to existing pruning methods. On LLaVA-NeXT-7B, it achieves up to 6.8x prefill speedup and 10x FLOP reduction, while retaining 96.88% of the original performance.