Используем ли мы правильный эталон: структура оценки методов сжатия визуальных токенов

Are We Using the Right Benchmark: An Evaluation Framework for Visual Token Compression Methods

October 8, 2025

Авторы: Chenfei Liao, Wensong Wang, Zichen Wen, Xu Zheng, Yiyu Wang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Xin Zou, Yuqian Fu, Bin Ren, Linfeng Zhang, Xuming Hu

cs.AI

Аннотация

Последние усилия по ускорению вывода в мультимодальных больших языковых моделях (MLLM) в основном сосредоточены на сжатии визуальных токенов. Эффективность этих методов обычно оценивается путем измерения снижения точности на установленных эталонных тестах, сравнивая производительность модели до и после сжатия. Однако эти тесты изначально разработаны для оценки восприятия и способности к рассуждению MLLM, а не для оценки методов сжатия. В результате их прямое применение к сжатию визуальных токенов приводит к несоответствию задач. Примечательно, что наше исследование показывает, что простое уменьшение разрешения изображения стабильно превосходит многие продвинутые методы сжатия на нескольких широко используемых тестах. В ходе обширных экспериментов мы сделали следующие наблюдения: (i) Текущие тесты являются зашумленными для задачи сжатия визуальных токенов. (ii) Уменьшение разрешения может служить фильтром данных для оценки сложности образцов в задаче сжатия визуальных токенов. Вдохновленные этими выводами, мы представляем VTC-Bench — оценочную платформу, которая включает механизм фильтрации данных для устранения шума в существующих тестах, что позволяет проводить более справедливую и точную оценку методов сжатия визуальных токенов. Все данные и код доступны по адресу https://github.com/Chenfei-Liao/VTC-Bench.

English

Recent endeavors to accelerate inference in Multimodal Large Language Models (MLLMs) have primarily focused on visual token compression. The effectiveness of these methods is typically assessed by measuring the accuracy drop on established benchmarks, comparing model performance before and after compression. However, these benchmarks are originally designed to assess the perception and reasoning capabilities of MLLMs, rather than to evaluate compression techniques. As a result, directly applying them to visual token compression introduces a task mismatch. Strikingly, our investigation reveals that simple image downsampling consistently outperforms many advanced compression methods across multiple widely used benchmarks. Through extensive experiments, we make the following observations: (i) Current benchmarks are noisy for the visual token compression task. (ii) Down-sampling is able to serve as a data filter to evaluate the difficulty of samples in the visual token compression task. Motivated by these findings, we introduce VTC-Bench, an evaluation framework that incorporates a data filtering mechanism to denoise existing benchmarks, thereby enabling fairer and more accurate assessment of visual token compression methods. All data and code are available at https://github.com/Chenfei-Liao/VTC-Bench.