適切なベンチマークを使用しているか：視覚的トークン圧縮手法の評価フレームワーク

Are We Using the Right Benchmark: An Evaluation Framework for Visual Token Compression Methods

October 8, 2025

著者: Chenfei Liao, Wensong Wang, Zichen Wen, Xu Zheng, Yiyu Wang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Xin Zou, Yuqian Fu, Bin Ren, Linfeng Zhang, Xuming Hu

cs.AI

要旨

近年、マルチモーダル大規模言語モデル（MLLMs）における推論の高速化を目指す取り組みは、主に視覚トークンの圧縮に焦点を当ててきた。これらの手法の有効性は、通常、確立されたベンチマークにおける精度の低下を測定し、圧縮前後のモデル性能を比較することで評価される。しかし、これらのベンチマークは元々、MLLMsの知覚および推論能力を評価するために設計されており、圧縮技術を評価するためのものではない。その結果、視覚トークン圧縮に直接適用すると、タスクのミスマッチが生じる。驚くべきことに、我々の調査によれば、単純な画像ダウンサンプリングが、多くの高度な圧縮手法を複数の広く使用されているベンチマークにおいて一貫して上回ることを明らかにした。広範な実験を通じて、以下の観察結果を得た：（i）現在のベンチマークは、視覚トークン圧縮タスクに対してノイズが多い。（ii）ダウンサンプリングは、視覚トークン圧縮タスクにおけるサンプルの難易度を評価するためのデータフィルターとして機能し得る。これらの知見に基づき、我々はVTC-Benchを導入した。これは、既存のベンチマークをデノイズするためのデータフィルタリングメカニズムを組み込んだ評価フレームワークであり、視覚トークン圧縮手法をより公平かつ正確に評価することを可能にする。すべてのデータとコードはhttps://github.com/Chenfei-Liao/VTC-Benchで公開されている。

English

Recent endeavors to accelerate inference in Multimodal Large Language Models (MLLMs) have primarily focused on visual token compression. The effectiveness of these methods is typically assessed by measuring the accuracy drop on established benchmarks, comparing model performance before and after compression. However, these benchmarks are originally designed to assess the perception and reasoning capabilities of MLLMs, rather than to evaluate compression techniques. As a result, directly applying them to visual token compression introduces a task mismatch. Strikingly, our investigation reveals that simple image downsampling consistently outperforms many advanced compression methods across multiple widely used benchmarks. Through extensive experiments, we make the following observations: (i) Current benchmarks are noisy for the visual token compression task. (ii) Down-sampling is able to serve as a data filter to evaluate the difficulty of samples in the visual token compression task. Motivated by these findings, we introduce VTC-Bench, an evaluation framework that incorporates a data filtering mechanism to denoise existing benchmarks, thereby enabling fairer and more accurate assessment of visual token compression methods. All data and code are available at https://github.com/Chenfei-Liao/VTC-Bench.