Сценарий: Граф-структурированная и запросо-обусловленная семантическая обрезка токенов для мультимодальных больших языковых моделей
Script: Graph-Structured and Query-Conditioned Semantic Token Pruning for Multimodal Large Language Models
December 1, 2025
Авторы: Zhongyu Yang, Dannong Xu, Wei Pang, Yingfang Yuan
cs.AI
Аннотация
Быстрый рост количества визуальных токенов в мультимодальных больших языковых моделях (MLLM) приводит к чрезмерному потреблению памяти и задержкам вывода, особенно при обработке изображений и видео высокого разрешения. Прунинг (отсев) токенов — это метод, используемый для смягчения данной проблемы путем удаления избыточности, однако существующие подходы часто игнорируют релевантность пользовательскому запросу или страдают от ограничений механизмов внимания, что снижает их адаптивность и эффективность. Для решения этих задач мы предлагаем Script, метод прунинга по принципу «подключи и работай», который не требует переобучения и является универсальным для различных MLLM. Script состоит из двух модулей: модуля прунинга с графовой структурой, удаляющего визуально избыточные токены, и семантического модуля прунинга, обусловленного запросом, который сохраняет визуальную информацию, релевантную запросу. Вместе они повышают производительность при решении мультимодальных задач. Эксперименты на четырнадцати бенчмарках для задач понимания изображений и видео показывают, что Script стабильно обеспечивает более высокую эффективность модели и прогнозную точность по сравнению с существующими методами прунинга. Для LLaVA-NeXT-7B метод позволяет достичь до 6.8-кратного ускорения фазы предварительного заполнения (prefill) и 10-кратного сокращения объема операций с плавающей запятой (FLOP), сохраняя при этом 96.88% исходной производительности модели.
English
The rapid growth of visual tokens in multimodal large language models (MLLMs) leads to excessive memory consumption and inference latency, especially when handling high-resolution images and videos. Token pruning is a technique used to mitigate this issue by removing redundancy, but existing methods often ignore relevance to the user query or suffer from the limitations of attention mechanisms, reducing their adaptability and effectiveness. To address these challenges, we propose Script, a plug-and-play pruning method that requires no retraining and generalizes across diverse MLLMs. Script comprises two modules: a graph-structured pruning module that removes visually redundant tokens, and a query-conditioned semantic pruning module that preserves query-relevant visual information. Together, they enhance performance on multimodal tasks. Experiments on fourteen benchmarks across image and video understanding tasks show that Script consistently achieves higher model efficiency and predictive accuracy compared to existing pruning methods. On LLaVA-NeXT-7B, it achieves up to 6.8x prefill speedup and 10x FLOP reduction, while retaining 96.88% of the original performance.