AIM: Inferencia Adaptativa de LLMs Multi-Modales a través de la Fusión y Poda de Tokens

AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning

December 4, 2024

Autores: Yiwu Zhong, Zhuoming Liu, Yin Li, Liwei Wang

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) han permitido la creación de LLMs multimodales que muestran una sólida comprensión de datos visuales como imágenes y videos. Sin embargo, estos modelos suelen depender de extensos tokens visuales de codificadores visuales, lo que conlleva altas demandas computacionales, limitando su aplicabilidad en entornos con recursos limitados y para tareas de largo contexto. En este trabajo, proponemos un método de inferencia adaptativa sin entrenamiento para LLMs multimodales que puede adaptarse a una amplia gama de requisitos de eficiencia con una caída mínima en el rendimiento. Nuestro método consiste en a) la fusión iterativa de tokens basada en similitud de incrustación antes de los LLMs, y b) la poda progresiva de tokens dentro de las capas de LLM basada en la importancia multimodal. Con un diseño minimalista, nuestro método puede aplicarse tanto a LLMs de video como de imagen. Experimentos extensos en diversos puntos de referencia de video e imagen demuestran que nuestro método reduce sustancialmente la carga computacional (por ejemplo, una reducción de 7 veces en FLOPs) mientras preserva el rendimiento de LLMs de video e imagen. Además, bajo un costo computacional similar, nuestro método supera a los métodos de vanguardia en la comprensión de videos largos (por ejemplo, +4.6 en MLVU). Además, nuestro análisis en profundidad proporciona información sobre la redundancia de tokens y los comportamientos de las capas de LLM, ofreciendo orientación para futuras investigaciones en el diseño de LLMs multimodales eficientes. Nuestro código estará disponible en https://github.com/LaVi-Lab/AIM.

English

Large language models (LLMs) have enabled the creation of multi-modal LLMs that exhibit strong comprehension of visual data such as images and videos. However, these models usually rely on extensive visual tokens from visual encoders, leading to high computational demands, which limits their applicability in resource-constrained environments and for long-context tasks. In this work, we propose a training-free adaptive inference method for multi-modal LLMs that can accommodate a broad range of efficiency requirements with a minimum performance drop. Our method consists of a) iterative token merging based on embedding similarity before LLMs, and b) progressive token pruning within LLM layers based on multi-modal importance. With a minimalist design, our method can be applied to both video and image LLMs. Extensive experiments on diverse video and image benchmarks demonstrate that, our method substantially reduces computation load (e.g., a 7-fold reduction in FLOPs) while preserving the performance of video and image LLMs. Further, under a similar computational cost, our method outperforms the state-of-the-art methods in long video understanding (e.g., +4.6 on MLVU). Additionally, our in-depth analysis provides insights into token redundancy and LLM layer behaviors, offering guidance for future research in designing efficient multi-modal LLMs. Our code will be available at https://github.com/LaVi-Lab/AIM.