MMTok: Multimodale Abdeckungsmaximierung für effiziente Inferenz von VLMs

MMTok: Multimodal Coverage Maximization for Efficient Inference of VLMs

August 25, 2025

papers.authors: Sixun Dong, Juhua Hu, Mian Zhang, Ming Yin, Yanjie Fu, Qi Qian

cs.AI

papers.abstract

Vision-Language Models (VLMs) zeigen beeindruckende Leistungen beim Verständnis visueller Inhalte durch Sprachanweisungen, indem sie visuelle Eingaben in Vision-Tokens umwandeln. Allerdings führt Redundanz in Vision-Tokens zu einer verringerten Inferenzeffizienz von VLMs. Während viele Algorithmen vorgeschlagen wurden, um die Anzahl der Vision-Tokens zu reduzieren, nutzen die meisten nur unimodale Informationen (d.h. Vision/Text) für das Pruning und ignorieren die inhärente multimodale Eigenschaft von Vision-Language-Aufgaben. Darüber hinaus fehlt ein generisches Kriterium, das auf verschiedene Modalitäten angewendet werden kann. Um diese Einschränkung zu überwinden, schlagen wir in dieser Arbeit vor, sowohl Vision- als auch Text-Tokens zu nutzen, um informative Vision-Tokens nach dem Kriterium der Abdeckung auszuwählen. Wir formulieren zunächst das Problem der Teilmengenauswahl als ein Maximum-Coverage-Problem. Anschließend wird eine Teilmenge von Vision-Tokens optimiert, um gleichzeitig die Text-Tokens und die ursprüngliche Menge der Vision-Tokens abzudecken. Schließlich kann ein VLM-Agent eingesetzt werden, um die Qualität der Text-Tokens weiter zu verbessern, die das Vision-Pruning leiten. Die vorgeschlagene Methode MMTok wird umfassend auf Benchmark-Datensätzen mit verschiedenen VLMs evaluiert. Der Vergleich zeigt, dass Vision- und Text-Informationen komplementär sind und die Kombination multimodaler Informationen die unimodale Baseline deutlich übertreffen kann. Darüber hinaus erreicht unsere Methode unter dem Maximum-Coverage-Kriterium auf dem POPE-Datensatz eine 1,87-fache Beschleunigung bei gleichzeitiger Beibehaltung von 98,7 % der ursprünglichen Leistung auf LLaVA-NeXT-13B. Mit nur vier Vision-Tokens behält sie außerdem 87,7 % der ursprünglichen Leistung auf LLaVA-1.5-7B bei. Diese Ergebnisse unterstreichen die Wirksamkeit der Abdeckung bei der Token-Auswahl.

English

Vision-Language Models (VLMs) demonstrate impressive performance in understanding visual content with language instruction by converting visual input to vision tokens. However, redundancy in vision tokens results in the degenerated inference efficiency of VLMs. While many algorithms have been proposed to reduce the number of vision tokens, most of them apply only unimodal information (i.e., vision/text) for pruning and ignore the inherent multimodal property of vision-language tasks. Moreover, it lacks a generic criterion that can be applied to different modalities. To mitigate this limitation, in this work, we propose to leverage both vision and text tokens to select informative vision tokens by the criterion of coverage. We first formulate the subset selection problem as a maximum coverage problem. Afterward, a subset of vision tokens is optimized to cover the text tokens and the original set of vision tokens, simultaneously. Finally, a VLM agent can be adopted to further improve the quality of text tokens for guiding vision pruning. The proposed method MMTok is extensively evaluated on benchmark datasets with different VLMs. The comparison illustrates that vision and text information are complementary, and combining multimodal information can surpass the unimodal baseline with a clear margin. Moreover, under the maximum coverage criterion on the POPE dataset, our method achieves a 1.87x speedup while maintaining 98.7% of the original performance on LLaVA-NeXT-13B. Furthermore, with only four vision tokens, it still preserves 87.7% of the original performance on LLaVA-1.5-7B. These results highlight the effectiveness of coverage in token selection.