¿Estamos utilizando el punto de referencia correcto? Un marco de evaluación para métodos de compresión de tokens visuales

Are We Using the Right Benchmark: An Evaluation Framework for Visual Token Compression Methods

October 8, 2025

Autores: Chenfei Liao, Wensong Wang, Zichen Wen, Xu Zheng, Yiyu Wang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Xin Zou, Yuqian Fu, Bin Ren, Linfeng Zhang, Xuming Hu

cs.AI

Resumen

Los esfuerzos recientes para acelerar la inferencia en Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) se han centrado principalmente en la compresión de tokens visuales. La efectividad de estos métodos se evalúa típicamente midiendo la caída en la precisión en benchmarks establecidos, comparando el rendimiento del modelo antes y después de la compresión. Sin embargo, estos benchmarks están originalmente diseñados para evaluar las capacidades de percepción y razonamiento de los MLLMs, en lugar de evaluar técnicas de compresión. Como resultado, aplicarlos directamente a la compresión de tokens visuales introduce una discrepancia en la tarea. Sorprendentemente, nuestra investigación revela que el simple submuestreo de imágenes supera consistentemente a muchos métodos avanzados de compresión en múltiples benchmarks ampliamente utilizados. A través de extensos experimentos, realizamos las siguientes observaciones: (i) Los benchmarks actuales son ruidosos para la tarea de compresión de tokens visuales. (ii) El submuestreo puede servir como un filtro de datos para evaluar la dificultad de las muestras en la tarea de compresión de tokens visuales. Motivados por estos hallazgos, presentamos VTC-Bench, un marco de evaluación que incorpora un mecanismo de filtrado de datos para eliminar el ruido de los benchmarks existentes, permitiendo así una evaluación más justa y precisa de los métodos de compresión de tokens visuales. Todos los datos y el código están disponibles en https://github.com/Chenfei-Liao/VTC-Bench.

English

Recent endeavors to accelerate inference in Multimodal Large Language Models (MLLMs) have primarily focused on visual token compression. The effectiveness of these methods is typically assessed by measuring the accuracy drop on established benchmarks, comparing model performance before and after compression. However, these benchmarks are originally designed to assess the perception and reasoning capabilities of MLLMs, rather than to evaluate compression techniques. As a result, directly applying them to visual token compression introduces a task mismatch. Strikingly, our investigation reveals that simple image downsampling consistently outperforms many advanced compression methods across multiple widely used benchmarks. Through extensive experiments, we make the following observations: (i) Current benchmarks are noisy for the visual token compression task. (ii) Down-sampling is able to serve as a data filter to evaluate the difficulty of samples in the visual token compression task. Motivated by these findings, we introduce VTC-Bench, an evaluation framework that incorporates a data filtering mechanism to denoise existing benchmarks, thereby enabling fairer and more accurate assessment of visual token compression methods. All data and code are available at https://github.com/Chenfei-Liao/VTC-Bench.