AIM: Inferência Adaptativa de LLMs Multi-Modais via Fusão e Poda de Tokens

AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning

December 4, 2024

Autores: Yiwu Zhong, Zhuoming Liu, Yin Li, Liwei Wang

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs) possibilitaram a criação de LLMs multimodais que apresentam forte compreensão de dados visuais, como imagens e vídeos. No entanto, esses modelos geralmente dependem de extensos tokens visuais de codificadores visuais, resultando em altas demandas computacionais, o que limita sua aplicabilidade em ambientes com recursos limitados e para tarefas de longo contexto. Neste trabalho, propomos um método de inferência adaptativa sem treinamento para LLMs multimodais que pode acomodar uma ampla gama de requisitos de eficiência com uma queda mínima de desempenho. Nosso método consiste em a) fusão iterativa de tokens com base na similaridade de incorporação antes dos LLMs, e b) poda progressiva de tokens dentro das camadas dos LLMs com base na importância multimodal. Com um design minimalista, nosso método pode ser aplicado tanto a LLMs de vídeo quanto de imagem. Experimentos extensivos em diversos benchmarks de vídeo e imagem demonstram que nosso método reduz substancialmente a carga computacional (por exemplo, uma redução de 7 vezes em FLOPs) enquanto preserva o desempenho de LLMs de vídeo e imagem. Além disso, sob um custo computacional semelhante, nosso método supera os métodos de ponta em compreensão de vídeo longo (por exemplo, +4,6 no MLVU). Adicionalmente, nossa análise aprofundada fornece insights sobre a redundância de tokens e comportamentos das camadas dos LLMs, oferecendo orientações para pesquisas futuras na concepção de LLMs multimodais eficientes. Nosso código estará disponível em https://github.com/LaVi-Lab/AIM.

English

Large language models (LLMs) have enabled the creation of multi-modal LLMs that exhibit strong comprehension of visual data such as images and videos. However, these models usually rely on extensive visual tokens from visual encoders, leading to high computational demands, which limits their applicability in resource-constrained environments and for long-context tasks. In this work, we propose a training-free adaptive inference method for multi-modal LLMs that can accommodate a broad range of efficiency requirements with a minimum performance drop. Our method consists of a) iterative token merging based on embedding similarity before LLMs, and b) progressive token pruning within LLM layers based on multi-modal importance. With a minimalist design, our method can be applied to both video and image LLMs. Extensive experiments on diverse video and image benchmarks demonstrate that, our method substantially reduces computation load (e.g., a 7-fold reduction in FLOPs) while preserving the performance of video and image LLMs. Further, under a similar computational cost, our method outperforms the state-of-the-art methods in long video understanding (e.g., +4.6 on MLVU). Additionally, our in-depth analysis provides insights into token redundancy and LLM layer behaviors, offering guidance for future research in designing efficient multi-modal LLMs. Our code will be available at https://github.com/LaVi-Lab/AIM.