MMTok: Massimizzazione della Copertura Multimodale per Inferenza Efficiente nei Modelli Linguistici Visivi

MMTok: Multimodal Coverage Maximization for Efficient Inference of VLMs

August 25, 2025

Autori: Sixun Dong, Juhua Hu, Mian Zhang, Ming Yin, Yanjie Fu, Qi Qian

cs.AI

Abstract

I modelli visione-linguaggio (VLMs) dimostrano prestazioni impressionanti nella comprensione di contenuti visivi con istruzioni linguistiche convertendo l'input visivo in token visivi. Tuttavia, la ridondanza nei token visivi comporta un'efficienza inferenziale degradata dei VLMs. Sebbene siano stati proposti molti algoritmi per ridurre il numero di token visivi, la maggior parte di essi applica solo informazioni unimodali (ad esempio, visione/testo) per il pruning e ignora la proprietà intrinsecamente multimodale dei compiti visione-linguaggio. Inoltre, manca un criterio generico che possa essere applicato a diverse modalità. Per mitigare questa limitazione, in questo lavoro proponiamo di sfruttare sia i token visivi che quelli testuali per selezionare token visivi informativi attraverso il criterio di copertura. Per prima cosa, formuliamo il problema di selezione del sottoinsieme come un problema di massima copertura. Successivamente, un sottoinsieme di token visivi viene ottimizzato per coprire sia i token testuali che l'insieme originale di token visivi, simultaneamente. Infine, un agente VLM può essere adottato per migliorare ulteriormente la qualità dei token testuali per guidare il pruning visivo. Il metodo proposto, MMTok, è ampiamente valutato su dataset di benchmark con diversi VLMs. Il confronto illustra che le informazioni visive e testuali sono complementari e che combinare informazioni multimodali può superare con un margine significativo il baseline unimodale. Inoltre, sotto il criterio di massima copertura sul dataset POPE, il nostro metodo ottiene un'accelerazione di 1,87x mantenendo il 98,7% delle prestazioni originali su LLaVA-NeXT-13B. Inoltre, con soli quattro token visivi, preserva ancora l'87,7% delle prestazioni originali su LLaVA-1.5-7B. Questi risultati evidenziano l'efficacia della copertura nella selezione dei token.

English

Vision-Language Models (VLMs) demonstrate impressive performance in understanding visual content with language instruction by converting visual input to vision tokens. However, redundancy in vision tokens results in the degenerated inference efficiency of VLMs. While many algorithms have been proposed to reduce the number of vision tokens, most of them apply only unimodal information (i.e., vision/text) for pruning and ignore the inherent multimodal property of vision-language tasks. Moreover, it lacks a generic criterion that can be applied to different modalities. To mitigate this limitation, in this work, we propose to leverage both vision and text tokens to select informative vision tokens by the criterion of coverage. We first formulate the subset selection problem as a maximum coverage problem. Afterward, a subset of vision tokens is optimized to cover the text tokens and the original set of vision tokens, simultaneously. Finally, a VLM agent can be adopted to further improve the quality of text tokens for guiding vision pruning. The proposed method MMTok is extensively evaluated on benchmark datasets with different VLMs. The comparison illustrates that vision and text information are complementary, and combining multimodal information can surpass the unimodal baseline with a clear margin. Moreover, under the maximum coverage criterion on the POPE dataset, our method achieves a 1.87x speedup while maintaining 98.7% of the original performance on LLaVA-NeXT-13B. Furthermore, with only four vision tokens, it still preserves 87.7% of the original performance on LLaVA-1.5-7B. These results highlight the effectiveness of coverage in token selection.