Repenser la réduction des jetons dans les MLLMs : Vers un paradigme unifié pour une accélération sans entraînement.

Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration

November 26, 2024

Auteurs: Yuhang Han, Xuyang Liu, Pengxiang Ding, Donglin Wang, Honggang Chen, Qingsen Yan, Siteng Huang

cs.AI

Résumé

Pour accélérer l'inférence des lourds Modèles de Langage Multimodaux (MLLM), cette étude repense le paysage actuel de la recherche sur la réduction de jetons sans entraînement. Nous regrettons de constater que les composants critiques des méthodes existantes sont étroitement liés, avec leurs interconnexions et effets restant flous pour la comparaison, le transfert et l'expansion. Par conséquent, nous proposons un paradigme unifié "filtrer-corréler-compresser" qui décompose la réduction de jetons en trois étapes distinctes au sein d'un pipeline, en maintenant des objectifs de conception et des éléments cohérents tout en permettant des implémentations uniques. Nous démystifions également les travaux populaires et les intégrons dans notre paradigme pour en montrer l'universalité. Enfin, nous proposons une série de méthodes ancrées dans le paradigme, trouvant un équilibre entre vitesse et précision tout au long des différentes phases de l'inférence. Les résultats expérimentaux sur 10 benchmarks indiquent que nos méthodes peuvent atteindre jusqu'à une réduction de 82,4% des FLOPs avec un impact minimal sur les performances, dépassant simultanément les méthodes sans entraînement de pointe. Notre page de projet se trouve à l'adresse https://ficoco-accelerate.github.io/.

English

To accelerate the inference of heavy Multimodal Large Language Models (MLLMs), this study rethinks the current landscape of training-free token reduction research. We regret to find that the critical components of existing methods are tightly intertwined, with their interconnections and effects remaining unclear for comparison, transfer, and expansion. Therefore, we propose a unified ''filter-correlate-compress'' paradigm that decomposes the token reduction into three distinct stages within a pipeline, maintaining consistent design objectives and elements while allowing for unique implementations. We additionally demystify the popular works and subsume them into our paradigm to showcase its universality. Finally, we offer a suite of methods grounded in the paradigm, striking a balance between speed and accuracy throughout different phases of the inference. Experimental results across 10 benchmarks indicate that our methods can achieve up to an 82.4% reduction in FLOPs with a minimal impact on performance, simultaneously surpassing state-of-the-art training-free methods. Our project page is at https://ficoco-accelerate.github.io/.