Utilisons-nous le bon référentiel : Un cadre d'évaluation pour les méthodes de compression visuelle de tokens
Are We Using the Right Benchmark: An Evaluation Framework for Visual Token Compression Methods
October 8, 2025
papers.authors: Chenfei Liao, Wensong Wang, Zichen Wen, Xu Zheng, Yiyu Wang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Xin Zou, Yuqian Fu, Bin Ren, Linfeng Zhang, Xuming Hu
cs.AI
papers.abstract
Les récents efforts visant à accélérer l'inférence dans les modèles de langage multimodaux de grande taille (MLLMs) se sont principalement concentrés sur la compression des tokens visuels. L'efficacité de ces méthodes est généralement évaluée en mesurant la baisse de précision sur des benchmarks établis, en comparant les performances du modèle avant et après la compression. Cependant, ces benchmarks sont initialement conçus pour évaluer les capacités de perception et de raisonnement des MLLMs, plutôt que pour évaluer les techniques de compression. Par conséquent, leur application directe à la compression des tokens visuels introduit une inadéquation des tâches. De manière frappante, notre investigation révèle que le sous-échantillonnage simple des images surpasse systématiquement de nombreuses méthodes de compression avancées sur plusieurs benchmarks largement utilisés. À travers des expériences approfondies, nous faisons les observations suivantes : (i) Les benchmarks actuels sont bruyants pour la tâche de compression des tokens visuels. (ii) Le sous-échantillonnage peut servir de filtre de données pour évaluer la difficulté des échantillons dans la tâche de compression des tokens visuels. Motivés par ces résultats, nous introduisons VTC-Bench, un cadre d'évaluation qui intègre un mécanisme de filtrage des données pour débruiter les benchmarks existants, permettant ainsi une évaluation plus juste et plus précise des méthodes de compression des tokens visuels. Toutes les données et le code sont disponibles à l'adresse suivante : https://github.com/Chenfei-Liao/VTC-Bench.
English
Recent endeavors to accelerate inference in Multimodal Large Language Models
(MLLMs) have primarily focused on visual token compression. The effectiveness
of these methods is typically assessed by measuring the accuracy drop on
established benchmarks, comparing model performance before and after
compression. However, these benchmarks are originally designed to assess the
perception and reasoning capabilities of MLLMs, rather than to evaluate
compression techniques. As a result, directly applying them to visual token
compression introduces a task mismatch. Strikingly, our investigation reveals
that simple image downsampling consistently outperforms many advanced
compression methods across multiple widely used benchmarks. Through extensive
experiments, we make the following observations: (i) Current benchmarks are
noisy for the visual token compression task. (ii) Down-sampling is able to
serve as a data filter to evaluate the difficulty of samples in the visual
token compression task. Motivated by these findings, we introduce VTC-Bench, an
evaluation framework that incorporates a data filtering mechanism to denoise
existing benchmarks, thereby enabling fairer and more accurate assessment of
visual token compression methods. All data and code are available at
https://github.com/Chenfei-Liao/VTC-Bench.