Roteiro: Poda Semântica de Tokens com Estrutura de Grafo e Condicionada por Consulta para Modelos de Linguagem Multimodais de Grande Escala

Script: Graph-Structured and Query-Conditioned Semantic Token Pruning for Multimodal Large Language Models

December 1, 2025

Autores: Zhongyu Yang, Dannong Xu, Wei Pang, Yingfang Yuan

cs.AI

Resumo

O rápido crescimento de tokens visuais em modelos de linguagem grandes multimodais (MLLMs) leva ao consumo excessivo de memória e latência de inferência, especialmente ao processar imagens e vídeos de alta resolução. A poda de tokens é uma técnica usada para mitigar esse problema removendo redundâncias, mas os métodos existentes frequentemente ignoram a relevância para a consulta do usuário ou sofrem com as limitações dos mecanismos de atenção, reduzindo sua adaptabilidade e eficácia. Para enfrentar esses desafios, propomos o Script, um método de poda plug-and-play que não requer retreinamento e generaliza-se em diversos MLLMs. O Script compreende dois módulos: um módulo de poda estruturado em grafo que remove tokens visualmente redundantes, e um módulo de poda semântica condicionado à consulta que preserva informações visuais relevantes para a query. Juntos, eles melhoram o desempenho em tarefas multimodais. Experimentos em catorze benchmarks abrangendo tarefas de compreensão de imagem e vídeo mostram que o Script alcança consistentemente maior eficiência do modelo e precisão preditiva em comparação com métodos de poda existentes. No LLaVA-NeXT-7B, ele alcança até 6.8x de aceleração no preenchimento prévio e redução de 10x em FLOPS, mantendo 96.88% do desempenho original.

English

The rapid growth of visual tokens in multimodal large language models (MLLMs) leads to excessive memory consumption and inference latency, especially when handling high-resolution images and videos. Token pruning is a technique used to mitigate this issue by removing redundancy, but existing methods often ignore relevance to the user query or suffer from the limitations of attention mechanisms, reducing their adaptability and effectiveness. To address these challenges, we propose Script, a plug-and-play pruning method that requires no retraining and generalizes across diverse MLLMs. Script comprises two modules: a graph-structured pruning module that removes visually redundant tokens, and a query-conditioned semantic pruning module that preserves query-relevant visual information. Together, they enhance performance on multimodal tasks. Experiments on fourteen benchmarks across image and video understanding tasks show that Script consistently achieves higher model efficiency and predictive accuracy compared to existing pruning methods. On LLaVA-NeXT-7B, it achieves up to 6.8x prefill speedup and 10x FLOP reduction, while retaining 96.88% of the original performance.