Stiamo Utilizzando il Benchmark Corretto: Un Framework di Valutazione per i Metodi di Compressione di Token Visivi

Are We Using the Right Benchmark: An Evaluation Framework for Visual Token Compression Methods

October 8, 2025

Autori: Chenfei Liao, Wensong Wang, Zichen Wen, Xu Zheng, Yiyu Wang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Xin Zou, Yuqian Fu, Bin Ren, Linfeng Zhang, Xuming Hu

cs.AI

Abstract

I recenti sforzi per accelerare l'inferenza nei Modelli Linguistici Multimodali di Grande Scala (MLLMs) si sono concentrati principalmente sulla compressione dei token visivi. L'efficacia di questi metodi viene tipicamente valutata misurando il calo di accuratezza su benchmark consolidati, confrontando le prestazioni del modello prima e dopo la compressione. Tuttavia, questi benchmark sono originariamente progettati per valutare le capacità percettive e di ragionamento degli MLLMs, piuttosto che per valutare le tecniche di compressione. Di conseguenza, applicarli direttamente alla compressione dei token visivi introduce una discrepanza di compito. Sorprendentemente, la nostra indagine rivela che un semplice downsampling delle immagini supera costantemente molti metodi di compressione avanzati su più benchmark ampiamente utilizzati. Attraverso esperimenti estensivi, abbiamo fatto le seguenti osservazioni: (i) I benchmark attuali sono rumorosi per il compito di compressione dei token visivi. (ii) Il downsampling è in grado di fungere da filtro dei dati per valutare la difficoltà dei campioni nel compito di compressione dei token visivi. Motivati da questi risultati, introduciamo VTC-Bench, un framework di valutazione che incorpora un meccanismo di filtraggio dei dati per denoisare i benchmark esistenti, consentendo così una valutazione più equa e accurata dei metodi di compressione dei token visivi. Tutti i dati e il codice sono disponibili su https://github.com/Chenfei-Liao/VTC-Bench.

English

Recent endeavors to accelerate inference in Multimodal Large Language Models (MLLMs) have primarily focused on visual token compression. The effectiveness of these methods is typically assessed by measuring the accuracy drop on established benchmarks, comparing model performance before and after compression. However, these benchmarks are originally designed to assess the perception and reasoning capabilities of MLLMs, rather than to evaluate compression techniques. As a result, directly applying them to visual token compression introduces a task mismatch. Strikingly, our investigation reveals that simple image downsampling consistently outperforms many advanced compression methods across multiple widely used benchmarks. Through extensive experiments, we make the following observations: (i) Current benchmarks are noisy for the visual token compression task. (ii) Down-sampling is able to serve as a data filter to evaluate the difficulty of samples in the visual token compression task. Motivated by these findings, we introduce VTC-Bench, an evaluation framework that incorporates a data filtering mechanism to denoise existing benchmarks, thereby enabling fairer and more accurate assessment of visual token compression methods. All data and code are available at https://github.com/Chenfei-Liao/VTC-Bench.