MMTok: Maximização de Cobertura Multimodal para Inferência Eficiente de Modelos de Linguagem Visual

MMTok: Multimodal Coverage Maximization for Efficient Inference of VLMs

August 25, 2025

Autores: Sixun Dong, Juhua Hu, Mian Zhang, Ming Yin, Yanjie Fu, Qi Qian

cs.AI

Resumo

Modelos Visão-Linguagem (VLMs) demonstram desempenho impressionante na compreensão de conteúdo visual com instruções linguísticas, convertendo a entrada visual em tokens visuais. No entanto, a redundância nos tokens visuais resulta em uma eficiência de inferência degradada dos VLMs. Embora muitos algoritmos tenham sido propostos para reduzir o número de tokens visuais, a maioria deles aplica apenas informações unimodais (ou seja, visão/texto) para poda e ignora a propriedade multimodal inerente das tarefas visão-linguagem. Além disso, falta um critério genérico que possa ser aplicado a diferentes modalidades. Para mitigar essa limitação, neste trabalho, propomos aproveitar tanto os tokens visuais quanto os textuais para selecionar tokens visuais informativos com base no critério de cobertura. Primeiro, formulamos o problema de seleção de subconjuntos como um problema de cobertura máxima. Em seguida, um subconjunto de tokens visuais é otimizado para cobrir os tokens textuais e o conjunto original de tokens visuais simultaneamente. Por fim, um agente VLM pode ser adotado para melhorar ainda mais a qualidade dos tokens textuais, orientando a poda visual. O método proposto, MMTok, é extensivamente avaliado em conjuntos de dados de referência com diferentes VLMs. A comparação ilustra que as informações visuais e textuais são complementares, e a combinação de informações multimodais pode superar a linha de base unimodal com uma margem clara. Além disso, sob o critério de cobertura máxima no conjunto de dados POPE, nosso método alcança uma aceleração de 1,87x enquanto mantém 98,7% do desempenho original no LLaVA-NeXT-13B. Adicionalmente, com apenas quatro tokens visuais, ele ainda preserva 87,7% do desempenho original no LLaVA-1.5-7B. Esses resultados destacam a eficácia da cobertura na seleção de tokens.

English

Vision-Language Models (VLMs) demonstrate impressive performance in understanding visual content with language instruction by converting visual input to vision tokens. However, redundancy in vision tokens results in the degenerated inference efficiency of VLMs. While many algorithms have been proposed to reduce the number of vision tokens, most of them apply only unimodal information (i.e., vision/text) for pruning and ignore the inherent multimodal property of vision-language tasks. Moreover, it lacks a generic criterion that can be applied to different modalities. To mitigate this limitation, in this work, we propose to leverage both vision and text tokens to select informative vision tokens by the criterion of coverage. We first formulate the subset selection problem as a maximum coverage problem. Afterward, a subset of vision tokens is optimized to cover the text tokens and the original set of vision tokens, simultaneously. Finally, a VLM agent can be adopted to further improve the quality of text tokens for guiding vision pruning. The proposed method MMTok is extensively evaluated on benchmark datasets with different VLMs. The comparison illustrates that vision and text information are complementary, and combining multimodal information can surpass the unimodal baseline with a clear margin. Moreover, under the maximum coverage criterion on the POPE dataset, our method achieves a 1.87x speedup while maintaining 98.7% of the original performance on LLaVA-NeXT-13B. Furthermore, with only four vision tokens, it still preserves 87.7% of the original performance on LLaVA-1.5-7B. These results highlight the effectiveness of coverage in token selection.