Estamos Usando o Benchmark Correto: Um Framework de Avaliação para Métodos de Compressão de Tokens Visuais

Are We Using the Right Benchmark: An Evaluation Framework for Visual Token Compression Methods

October 8, 2025

Autores: Chenfei Liao, Wensong Wang, Zichen Wen, Xu Zheng, Yiyu Wang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Xin Zou, Yuqian Fu, Bin Ren, Linfeng Zhang, Xuming Hu

cs.AI

Resumo

Esforços recentes para acelerar a inferência em Modelos de Linguagem Multimodais de Grande Escala (MLLMs) têm se concentrado principalmente na compressão de tokens visuais. A eficácia desses métodos é tipicamente avaliada medindo a queda de precisão em benchmarks estabelecidos, comparando o desempenho do modelo antes e depois da compressão. No entanto, esses benchmarks foram originalmente projetados para avaliar as capacidades de percepção e raciocínio dos MLLMs, em vez de avaliar técnicas de compressão. Como resultado, sua aplicação direta à compressão de tokens visuais introduz uma incompatibilidade de tarefas. Surpreendentemente, nossa investigação revela que o simples downsampling de imagens supera consistentemente muitos métodos avançados de compressão em vários benchmarks amplamente utilizados. Por meio de extensos experimentos, fazemos as seguintes observações: (i) Os benchmarks atuais são ruidosos para a tarefa de compressão de tokens visuais. (ii) O downsampling pode servir como um filtro de dados para avaliar a dificuldade das amostras na tarefa de compressão de tokens visuais. Motivados por essas descobertas, introduzimos o VTC-Bench, uma estrutura de avaliação que incorpora um mecanismo de filtragem de dados para remover o ruído dos benchmarks existentes, permitindo assim uma avaliação mais justa e precisa dos métodos de compressão de tokens visuais. Todos os dados e códigos estão disponíveis em https://github.com/Chenfei-Liao/VTC-Bench.

English

Recent endeavors to accelerate inference in Multimodal Large Language Models (MLLMs) have primarily focused on visual token compression. The effectiveness of these methods is typically assessed by measuring the accuracy drop on established benchmarks, comparing model performance before and after compression. However, these benchmarks are originally designed to assess the perception and reasoning capabilities of MLLMs, rather than to evaluate compression techniques. As a result, directly applying them to visual token compression introduces a task mismatch. Strikingly, our investigation reveals that simple image downsampling consistently outperforms many advanced compression methods across multiple widely used benchmarks. Through extensive experiments, we make the following observations: (i) Current benchmarks are noisy for the visual token compression task. (ii) Down-sampling is able to serve as a data filter to evaluate the difficulty of samples in the visual token compression task. Motivated by these findings, we introduce VTC-Bench, an evaluation framework that incorporates a data filtering mechanism to denoise existing benchmarks, thereby enabling fairer and more accurate assessment of visual token compression methods. All data and code are available at https://github.com/Chenfei-Liao/VTC-Bench.