Verwenden wir den richtigen Maßstab: Ein Bewertungsrahmen für Methoden zur visuellen Token-Kompression

Are We Using the Right Benchmark: An Evaluation Framework for Visual Token Compression Methods

October 8, 2025

papers.authors: Chenfei Liao, Wensong Wang, Zichen Wen, Xu Zheng, Yiyu Wang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Xin Zou, Yuqian Fu, Bin Ren, Linfeng Zhang, Xuming Hu

cs.AI

papers.abstract

Jüngste Bemühungen zur Beschleunigung der Inferenz in Multimodalen Großen Sprachmodellen (MLLMs) konzentrieren sich hauptsächlich auf die Kompression visueller Tokens. Die Wirksamkeit dieser Methoden wird typischerweise durch die Messung des Genauigkeitsverlusts auf etablierten Benchmarks bewertet, wobei die Modellleistung vor und nach der Kompression verglichen wird. Diese Benchmarks sind jedoch ursprünglich dafür konzipiert, die Wahrnehmungs- und Denkfähigkeiten von MLLMs zu bewerten, und nicht, um Kompressionstechniken zu evaluieren. Folglich führt die direkte Anwendung auf die Kompression visueller Tokens zu einer Aufgabenfehlanpassung. Bemerkenswerterweise zeigt unsere Untersuchung, dass einfache Bildverkleinerung viele fortgeschrittene Kompressionsmethoden über mehrere weit verbreitete Benchmarks hinweg konsequent übertrifft. Durch umfangreiche Experimente machen wir die folgenden Beobachtungen: (i) Aktuelle Benchmarks sind für die Aufgabe der visuellen Token-Kompression verrauscht. (ii) Bildverkleinerung kann als Datenfilter dienen, um die Schwierigkeit von Proben in der visuellen Token-Kompression zu bewerten. Motiviert durch diese Erkenntnisse führen wir VTC-Bench ein, ein Bewertungsframework, das einen Datenfiltermechanismus integriert, um bestehende Benchmarks zu entrauschen und somit eine fairere und genauere Bewertung von Methoden zur visuellen Token-Kompression zu ermöglichen. Alle Daten und Codes sind unter https://github.com/Chenfei-Liao/VTC-Bench verfügbar.

English

Recent endeavors to accelerate inference in Multimodal Large Language Models (MLLMs) have primarily focused on visual token compression. The effectiveness of these methods is typically assessed by measuring the accuracy drop on established benchmarks, comparing model performance before and after compression. However, these benchmarks are originally designed to assess the perception and reasoning capabilities of MLLMs, rather than to evaluate compression techniques. As a result, directly applying them to visual token compression introduces a task mismatch. Strikingly, our investigation reveals that simple image downsampling consistently outperforms many advanced compression methods across multiple widely used benchmarks. Through extensive experiments, we make the following observations: (i) Current benchmarks are noisy for the visual token compression task. (ii) Down-sampling is able to serve as a data filter to evaluate the difficulty of samples in the visual token compression task. Motivated by these findings, we introduce VTC-Bench, an evaluation framework that incorporates a data filtering mechanism to denoise existing benchmarks, thereby enabling fairer and more accurate assessment of visual token compression methods. All data and code are available at https://github.com/Chenfei-Liao/VTC-Bench.