Ziel: Adaptive Inferenz von Multi-Modalen LLMs durch Token-Verschmelzung und Beschneidung

AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning

December 4, 2024

Autoren: Yiwu Zhong, Zhuoming Liu, Yin Li, Liwei Wang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben die Entwicklung von multimodalen LLMs ermöglicht, die eine starke Verständnisfähigkeit für visuelle Daten wie Bilder und Videos aufweisen. Diese Modelle verlassen sich jedoch in der Regel auf umfangreiche visuelle Token von visuellen Encodern, was zu hohen Rechenanforderungen führt und ihre Anwendbarkeit in ressourcenbeschränkten Umgebungen und für Aufgaben mit langem Kontext einschränkt. In dieser Arbeit schlagen wir eine trainingsfreie adaptive Inferenzmethode für multimodale LLMs vor, die eine breite Palette von Effizienzanforderungen mit minimalem Leistungsabfall bewältigen kann. Unsere Methode besteht aus a) iterativem Token-Merging basierend auf Einbettungssimilarität vor LLMs und b) progressivem Token-Pruning innerhalb von LLM-Schichten basierend auf multimodaler Bedeutung. Mit einem minimalistischen Design kann unsere Methode sowohl auf Video- als auch auf Bild-LLMs angewendet werden. Umfangreiche Experimente an verschiedenen Video- und Bild-Benchmarks zeigen, dass unsere Methode die Rechenlast erheblich reduziert (z. B. eine 7-fache Reduzierung der FLOPs), während die Leistung von Video- und Bild-LLMs erhalten bleibt. Darüber hinaus übertrifft unsere Methode unter ähnlichen Rechenkosten die State-of-the-Art-Methoden im Verständnis langer Videos (z. B. +4,6 bei MLVU). Darüber hinaus liefert unsere eingehende Analyse Einblicke in die Token-Redundanz und das Verhalten von LLM-Schichten und bietet Anleitung für zukünftige Forschung bei der Gestaltung effizienter multimodaler LLMs. Unser Code wird unter https://github.com/LaVi-Lab/AIM verfügbar sein.

English

Large language models (LLMs) have enabled the creation of multi-modal LLMs that exhibit strong comprehension of visual data such as images and videos. However, these models usually rely on extensive visual tokens from visual encoders, leading to high computational demands, which limits their applicability in resource-constrained environments and for long-context tasks. In this work, we propose a training-free adaptive inference method for multi-modal LLMs that can accommodate a broad range of efficiency requirements with a minimum performance drop. Our method consists of a) iterative token merging based on embedding similarity before LLMs, and b) progressive token pruning within LLM layers based on multi-modal importance. With a minimalist design, our method can be applied to both video and image LLMs. Extensive experiments on diverse video and image benchmarks demonstrate that, our method substantially reduces computation load (e.g., a 7-fold reduction in FLOPs) while preserving the performance of video and image LLMs. Further, under a similar computational cost, our method outperforms the state-of-the-art methods in long video understanding (e.g., +4.6 on MLVU). Additionally, our in-depth analysis provides insights into token redundancy and LLM layer behaviors, offering guidance for future research in designing efficient multi-modal LLMs. Our code will be available at https://github.com/LaVi-Lab/AIM.