Neubewertung der Token-Reduktion in MLLMs: Auf dem Weg zu einem vereinheitlichten Paradigma für beschleunigtes Training.

Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration

November 26, 2024

Autoren: Yuhang Han, Xuyang Liu, Pengxiang Ding, Donglin Wang, Honggang Chen, Qingsen Yan, Siteng Huang

cs.AI

Zusammenfassung

Um die Inferenz von schweren Multimodal Large Language Models (MLLMs) zu beschleunigen, überdenkt diese Studie die aktuelle Landschaft der forschungsfreien Token-Reduktionsforschung. Es ist bedauerlich festzustellen, dass die entscheidenden Komponenten bestehender Methoden eng miteinander verflochten sind, wobei ihre Verbindungen und Auswirkungen für Vergleiche, Übertragungen und Erweiterungen unklar bleiben. Daher schlagen wir ein vereinheitlichtes Paradigma ''filtern-korrelieren-komprimieren'' vor, das die Token-Reduktion in drei unterschiedliche Stufen innerhalb eines Pipelines zerlegt, wobei konsistente Designziele und Elemente beibehalten werden, während einzigartige Implementierungen ermöglicht werden. Zusätzlich entschlüsseln wir die populären Arbeiten und integrieren sie in unser Paradigma, um dessen Universalität zu demonstrieren. Abschließend bieten wir eine Reihe von Methoden, die auf dem Paradigma basieren und einen Ausgleich zwischen Geschwindigkeit und Genauigkeit in verschiedenen Phasen der Inferenz schaffen. Experimentelle Ergebnisse über 10 Benchmarks zeigen, dass unsere Methoden eine Reduktion der FLOPs um bis zu 82,4% bei minimalen Auswirkungen auf die Leistung erzielen können, wobei gleichzeitig die forschungsfreien Methoden auf dem neuesten Stand übertroffen werden. Unsere Projektseite befindet sich unter https://ficoco-accelerate.github.io/.

English

To accelerate the inference of heavy Multimodal Large Language Models (MLLMs), this study rethinks the current landscape of training-free token reduction research. We regret to find that the critical components of existing methods are tightly intertwined, with their interconnections and effects remaining unclear for comparison, transfer, and expansion. Therefore, we propose a unified ''filter-correlate-compress'' paradigm that decomposes the token reduction into three distinct stages within a pipeline, maintaining consistent design objectives and elements while allowing for unique implementations. We additionally demystify the popular works and subsume them into our paradigm to showcase its universality. Finally, we offer a suite of methods grounded in the paradigm, striking a balance between speed and accuracy throughout different phases of the inference. Experimental results across 10 benchmarks indicate that our methods can achieve up to an 82.4% reduction in FLOPs with a minimal impact on performance, simultaneously surpassing state-of-the-art training-free methods. Our project page is at https://ficoco-accelerate.github.io/.