Objectif : Inférence Adaptative de LLMs Multi-Modaux via la Fusion et l'Élagage de Jetons

AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning

December 4, 2024

Auteurs: Yiwu Zhong, Zhuoming Liu, Yin Li, Liwei Wang

cs.AI

Résumé

Les grands modèles de langage (LLM) ont permis la création de LLM multimodaux qui présentent une forte compréhension des données visuelles telles que les images et les vidéos. Cependant, ces modèles s'appuient généralement sur de nombreux jetons visuels provenant d'encodeurs visuels, ce qui entraîne des demandes computationnelles élevées, limitant leur applicabilité dans des environnements aux ressources limitées et pour des tâches à long contexte. Dans ce travail, nous proposons une méthode d'inférence adaptative sans entraînement pour les LLM multimodaux qui peut s'adapter à un large éventail d'exigences d'efficacité avec une baisse de performance minimale. Notre méthode consiste en a) la fusion itérative de jetons basée sur la similarité d'incorporation avant les LLM, et b) l'élagage progressif des jetons au sein des couches de LLM basé sur l'importance multimodale. Avec une conception minimaliste, notre méthode peut être appliquée à la fois aux LLM vidéo et image. Des expériences approfondies sur diverses références vidéo et image démontrent que notre méthode réduit considérablement la charge de calcul (par exemple, une réduction de 7 fois en FLOPs) tout en préservant les performances des LLM vidéo et image. De plus, pour un coût computationnel similaire, notre méthode surpasse les méthodes de pointe dans la compréhension de longues vidéos (par exemple, +4,6 sur MLVU). De plus, notre analyse approfondie offre des insights sur la redondance des jetons et les comportements des couches de LLM, offrant des orientations pour les futures recherches dans la conception de LLM multimodaux efficaces. Notre code sera disponible sur https://github.com/LaVi-Lab/AIM.

English

Large language models (LLMs) have enabled the creation of multi-modal LLMs that exhibit strong comprehension of visual data such as images and videos. However, these models usually rely on extensive visual tokens from visual encoders, leading to high computational demands, which limits their applicability in resource-constrained environments and for long-context tasks. In this work, we propose a training-free adaptive inference method for multi-modal LLMs that can accommodate a broad range of efficiency requirements with a minimum performance drop. Our method consists of a) iterative token merging based on embedding similarity before LLMs, and b) progressive token pruning within LLM layers based on multi-modal importance. With a minimalist design, our method can be applied to both video and image LLMs. Extensive experiments on diverse video and image benchmarks demonstrate that, our method substantially reduces computation load (e.g., a 7-fold reduction in FLOPs) while preserving the performance of video and image LLMs. Further, under a similar computational cost, our method outperforms the state-of-the-art methods in long video understanding (e.g., +4.6 on MLVU). Additionally, our in-depth analysis provides insights into token redundancy and LLM layer behaviors, offering guidance for future research in designing efficient multi-modal LLMs. Our code will be available at https://github.com/LaVi-Lab/AIM.