Переосмысление сокращения токенов в MLLM: к общей парадигме для ускорения обучения.

Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration

November 26, 2024

Авторы: Yuhang Han, Xuyang Liu, Pengxiang Ding, Donglin Wang, Honggang Chen, Qingsen Yan, Siteng Huang

cs.AI

Аннотация

Для ускорения вывода тяжелых мультимодальных крупных языковых моделей (MLLMs) в данном исследовании переосмысливается текущий ландшафт исследований по сокращению токенов без обучения. Мы с сожалением отмечаем, что критические компоненты существующих методов тесно переплетены, их взаимосвязи и эффекты остаются неясными для сравнения, передачи и расширения. Поэтому мы предлагаем унифицированную парадигму "фильтр-корреляция-сжатие", которая декомпозирует сокращение токенов на три отдельных этапа в рамках конвейера, сохраняя согласованные цели и элементы дизайна, позволяя уникальные реализации. Мы также разъясняем популярные работы и включаем их в нашу парадигму, чтобы продемонстрировать ее универсальность. Наконец, мы предлагаем набор методов, основанных на данной парадигме, достигая баланса между скоростью и точностью на различных этапах вывода. Экспериментальные результаты на 10 бенчмарках показывают, что наши методы могут достичь сокращения FLOPs до 82,4% с минимальным влиянием на производительность, превосходя при этом современные методы сокращения без обучения. Наша страница проекта находится по адресу https://ficoco-accelerate.github.io/.

English

To accelerate the inference of heavy Multimodal Large Language Models (MLLMs), this study rethinks the current landscape of training-free token reduction research. We regret to find that the critical components of existing methods are tightly intertwined, with their interconnections and effects remaining unclear for comparison, transfer, and expansion. Therefore, we propose a unified ''filter-correlate-compress'' paradigm that decomposes the token reduction into three distinct stages within a pipeline, maintaining consistent design objectives and elements while allowing for unique implementations. We additionally demystify the popular works and subsume them into our paradigm to showcase its universality. Finally, we offer a suite of methods grounded in the paradigm, striking a balance between speed and accuracy throughout different phases of the inference. Experimental results across 10 benchmarks indicate that our methods can achieve up to an 82.4% reduction in FLOPs with a minimal impact on performance, simultaneously surpassing state-of-the-art training-free methods. Our project page is at https://ficoco-accelerate.github.io/.