MMTok: Максимизация мультимодального покрытия для эффективного вывода в визуально-языковых моделях

MMTok: Multimodal Coverage Maximization for Efficient Inference of VLMs

August 25, 2025

Авторы: Sixun Dong, Juhua Hu, Mian Zhang, Ming Yin, Yanjie Fu, Qi Qian

cs.AI

Аннотация

Модели, объединяющие зрение и язык (Vision-Language Models, VLMs), демонстрируют впечатляющие результаты в понимании визуального контента с использованием языковых инструкций, преобразуя визуальные данные в визуальные токены. Однако избыточность визуальных токенов приводит к снижению эффективности вывода в VLMs. Хотя было предложено множество алгоритмов для сокращения количества визуальных токенов, большинство из них используют только одномодальную информацию (т.е. визуальную или текстовую) для их отбора, игнорируя присущую задачам, связанным с зрением и языком, мультимодальность. Кроме того, отсутствует универсальный критерий, который можно было бы применять к различным модальностям. Чтобы устранить это ограничение, в данной работе мы предлагаем использовать как визуальные, так и текстовые токены для выбора информативных визуальных токенов на основе критерия покрытия. Сначала мы формулируем задачу выбора подмножества как задачу максимального покрытия. Затем подмножество визуальных токенов оптимизируется для одновременного покрытия текстовых токенов и исходного набора визуальных токенов. Наконец, агент VLM может быть использован для дальнейшего повышения качества текстовых токенов, которые направляют процесс отбора визуальных данных. Предложенный метод MMTok был всесторонне протестирован на эталонных наборах данных с использованием различных VLMs. Сравнение показывает, что визуальная и текстовая информация дополняют друг друга, а объединение мультимодальной информации позволяет значительно превзойти одномодальные базовые подходы. Более того, при использовании критерия максимального покрытия на наборе данных POPE наш метод обеспечивает ускорение в 1,87 раза, сохраняя при этом 98,7% исходной производительности на модели LLaVA-NeXT-13B. Кроме того, даже при использовании всего четырех визуальных токенов метод сохраняет 87,7% исходной производительности на модели LLaVA-1.5-7B. Эти результаты подчеркивают эффективность использования критерия покрытия при выборе токенов.

English

Vision-Language Models (VLMs) demonstrate impressive performance in understanding visual content with language instruction by converting visual input to vision tokens. However, redundancy in vision tokens results in the degenerated inference efficiency of VLMs. While many algorithms have been proposed to reduce the number of vision tokens, most of them apply only unimodal information (i.e., vision/text) for pruning and ignore the inherent multimodal property of vision-language tasks. Moreover, it lacks a generic criterion that can be applied to different modalities. To mitigate this limitation, in this work, we propose to leverage both vision and text tokens to select informative vision tokens by the criterion of coverage. We first formulate the subset selection problem as a maximum coverage problem. Afterward, a subset of vision tokens is optimized to cover the text tokens and the original set of vision tokens, simultaneously. Finally, a VLM agent can be adopted to further improve the quality of text tokens for guiding vision pruning. The proposed method MMTok is extensively evaluated on benchmark datasets with different VLMs. The comparison illustrates that vision and text information are complementary, and combining multimodal information can surpass the unimodal baseline with a clear margin. Moreover, under the maximum coverage criterion on the POPE dataset, our method achieves a 1.87x speedup while maintaining 98.7% of the original performance on LLaVA-NeXT-13B. Furthermore, with only four vision tokens, it still preserves 87.7% of the original performance on LLaVA-1.5-7B. These results highlight the effectiveness of coverage in token selection.