MMTok : Maximisation de la couverture multimodale pour une inférence efficace des modèles de langage visuel

MMTok: Multimodal Coverage Maximization for Efficient Inference of VLMs

August 25, 2025

papers.authors: Sixun Dong, Juhua Hu, Mian Zhang, Ming Yin, Yanjie Fu, Qi Qian

cs.AI

papers.abstract

Les modèles vision-langage (VLMs) démontrent des performances impressionnantes dans la compréhension de contenu visuel à l'aide d'instructions linguistiques en convertissant l'entrée visuelle en tokens visuels. Cependant, la redondance dans les tokens visuels entraîne une efficacité d'inférence dégradée des VLMs. Bien que de nombreux algorithmes aient été proposés pour réduire le nombre de tokens visuels, la plupart d'entre eux n'utilisent que des informations unimodales (c'est-à-dire visuelles ou textuelles) pour l'élagage et ignorent la propriété multimodale inhérente des tâches vision-langage. De plus, il manque un critère générique qui puisse être appliqué à différentes modalités. Pour atténuer cette limitation, dans ce travail, nous proposons d'exploiter à la fois les tokens visuels et textuels pour sélectionner des tokens visuels informatifs selon le critère de couverture. Nous formulons d'abord le problème de sélection de sous-ensemble comme un problème de couverture maximale. Ensuite, un sous-ensemble de tokens visuels est optimisé pour couvrir à la fois les tokens textuels et l'ensemble original de tokens visuels. Enfin, un agent VLM peut être adopté pour améliorer davantage la qualité des tokens textuels afin de guider l'élagage visuel. La méthode proposée, MMTok, est largement évaluée sur des ensembles de données de référence avec différents VLMs. La comparaison montre que les informations visuelles et textuelles sont complémentaires, et que la combinaison d'informations multimodales peut surpasser la base unimodale avec une marge significative. De plus, sous le critère de couverture maximale sur le jeu de données POPE, notre méthode atteint une accélération de 1,87x tout en maintenant 98,7% de la performance originale sur LLaVA-NeXT-13B. Par ailleurs, avec seulement quatre tokens visuels, elle conserve encore 87,7% de la performance originale sur LLaVA-1.5-7B. Ces résultats mettent en évidence l'efficacité de la couverture dans la sélection de tokens.

English

Vision-Language Models (VLMs) demonstrate impressive performance in understanding visual content with language instruction by converting visual input to vision tokens. However, redundancy in vision tokens results in the degenerated inference efficiency of VLMs. While many algorithms have been proposed to reduce the number of vision tokens, most of them apply only unimodal information (i.e., vision/text) for pruning and ignore the inherent multimodal property of vision-language tasks. Moreover, it lacks a generic criterion that can be applied to different modalities. To mitigate this limitation, in this work, we propose to leverage both vision and text tokens to select informative vision tokens by the criterion of coverage. We first formulate the subset selection problem as a maximum coverage problem. Afterward, a subset of vision tokens is optimized to cover the text tokens and the original set of vision tokens, simultaneously. Finally, a VLM agent can be adopted to further improve the quality of text tokens for guiding vision pruning. The proposed method MMTok is extensively evaluated on benchmark datasets with different VLMs. The comparison illustrates that vision and text information are complementary, and combining multimodal information can surpass the unimodal baseline with a clear margin. Moreover, under the maximum coverage criterion on the POPE dataset, our method achieves a 1.87x speedup while maintaining 98.7% of the original performance on LLaVA-NeXT-13B. Furthermore, with only four vision tokens, it still preserves 87.7% of the original performance on LLaVA-1.5-7B. These results highlight the effectiveness of coverage in token selection.