Repensando a Redução de Tokens em MLLMs: Rumo a um Paradigma Unificado para Aceleração sem Treinamento

Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration

November 26, 2024

Autores: Yuhang Han, Xuyang Liu, Pengxiang Ding, Donglin Wang, Honggang Chen, Qingsen Yan, Siteng Huang

cs.AI

Resumo

Para acelerar a inferência de Modelos de Linguagem Multimodais Grandes e Pesados (MLLMs), este estudo repensa o cenário atual da pesquisa de redução de tokens sem treinamento. Lamentamos constatar que os componentes críticos dos métodos existentes estão intimamente interligados, com suas interconexões e efeitos permanecendo pouco claros para comparação, transferência e expansão. Portanto, propomos um paradigma unificado de ''filtrar-correlacionar-comprimir'' que decompõe a redução de tokens em três estágios distintos dentro de um pipeline, mantendo objetivos e elementos de design consistentes, permitindo implementações únicas. Além disso, desmistificamos os trabalhos populares e os subsumimos em nosso paradigma para demonstrar sua universalidade. Por fim, oferecemos uma série de métodos fundamentados no paradigma, encontrando um equilíbrio entre velocidade e precisão ao longo das diferentes fases da inferência. Resultados experimentais em 10 benchmarks indicam que nossos métodos podem alcançar uma redução de até 82,4% em FLOPs com um impacto mínimo no desempenho, superando simultaneamente os métodos de redução de tokens sem treinamento mais avançados. Nossa página do projeto está em https://ficoco-accelerate.github.io/.

English

To accelerate the inference of heavy Multimodal Large Language Models (MLLMs), this study rethinks the current landscape of training-free token reduction research. We regret to find that the critical components of existing methods are tightly intertwined, with their interconnections and effects remaining unclear for comparison, transfer, and expansion. Therefore, we propose a unified ''filter-correlate-compress'' paradigm that decomposes the token reduction into three distinct stages within a pipeline, maintaining consistent design objectives and elements while allowing for unique implementations. We additionally demystify the popular works and subsume them into our paradigm to showcase its universality. Finally, we offer a suite of methods grounded in the paradigm, striking a balance between speed and accuracy throughout different phases of the inference. Experimental results across 10 benchmarks indicate that our methods can achieve up to an 82.4% reduction in FLOPs with a minimal impact on performance, simultaneously surpassing state-of-the-art training-free methods. Our project page is at https://ficoco-accelerate.github.io/.