Heroverweging van Token-vermindering in MLLM's: Naar een Verenigd Paradigma voor Versnelling Zonder Training

Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration

November 26, 2024

Auteurs: Yuhang Han, Xuyang Liu, Pengxiang Ding, Donglin Wang, Honggang Chen, Qingsen Yan, Siteng Huang

cs.AI

Samenvatting

Om de inferentie van zware Multimodale Grote Taalmodellen (MLLM's) te versnellen, heroverweegt deze studie het huidige landschap van onderzoek naar tokenvermindering zonder training. We betreuren dat de kritieke componenten van bestaande methoden nauw met elkaar verweven zijn, waarbij hun onderlinge verbanden en effecten onduidelijk blijven voor vergelijking, overdracht en uitbreiding. Daarom stellen we een verenigd ''filter-correleer-comprimeer'' paradigma voor dat de tokenvermindering opdeelt in drie afzonderlijke fasen binnen een pijplijn, met behoud van consistente ontwerpdoelstellingen en elementen, terwijl unieke implementaties mogelijk zijn. We ontrafelen ook de populaire werken en voegen ze samen in ons paradigma om de universaliteit ervan te tonen. Ten slotte bieden we een reeks methoden gebaseerd op het paradigma, waarbij een balans wordt gevonden tussen snelheid en nauwkeurigheid gedurende verschillende fasen van de inferentie. Experimentele resultaten over 10 benchmarks tonen aan dat onze methoden tot wel 82,4% reductie in FLOPs kunnen bereiken met een minimaal effect op de prestaties, waarbij ze tegelijkertijd de state-of-the-art training-vrije methoden overtreffen. Onze projectpagina is te vinden op https://ficoco-accelerate.github.io/.

English

To accelerate the inference of heavy Multimodal Large Language Models (MLLMs), this study rethinks the current landscape of training-free token reduction research. We regret to find that the critical components of existing methods are tightly intertwined, with their interconnections and effects remaining unclear for comparison, transfer, and expansion. Therefore, we propose a unified ''filter-correlate-compress'' paradigm that decomposes the token reduction into three distinct stages within a pipeline, maintaining consistent design objectives and elements while allowing for unique implementations. We additionally demystify the popular works and subsume them into our paradigm to showcase its universality. Finally, we offer a suite of methods grounded in the paradigm, striking a balance between speed and accuracy throughout different phases of the inference. Experimental results across 10 benchmarks indicate that our methods can achieve up to an 82.4% reduction in FLOPs with a minimal impact on performance, simultaneously surpassing state-of-the-art training-free methods. Our project page is at https://ficoco-accelerate.github.io/.