Reconsideración de la Reducción de Tokens en MLLMs: Hacia un Paradigma Unificado para Aceleración sin Entrenamiento.

Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration

November 26, 2024

Autores: Yuhang Han, Xuyang Liu, Pengxiang Ding, Donglin Wang, Honggang Chen, Qingsen Yan, Siteng Huang

cs.AI

Resumen

Para acelerar la inferencia de Modelos de Lenguaje Multimodales Grandes y Pesados (MLLMs), este estudio reconsidera el panorama actual de la investigación de reducción de tokens sin entrenamiento. Lamentamos encontrar que los componentes críticos de los métodos existentes están estrechamente entrelazados, con sus interconexiones y efectos aún no claros para la comparación, transferencia y expansión. Por lo tanto, proponemos un paradigma unificado de ''filtrar-correlacionar-comprimir'' que descompone la reducción de tokens en tres etapas distintas dentro de un proceso en serie, manteniendo objetivos y elementos de diseño consistentes y permitiendo implementaciones únicas. Además, desmitificamos los trabajos populares y los subsumimos en nuestro paradigma para mostrar su universalidad. Finalmente, ofrecemos una serie de métodos fundamentados en el paradigma, logrando un equilibrio entre velocidad y precisión a lo largo de diferentes fases de la inferencia. Los resultados experimentales en 10 pruebas indican que nuestros métodos pueden lograr una reducción de hasta un 82.4% en FLOPs con un impacto mínimo en el rendimiento, superando simultáneamente los métodos actuales sin entrenamiento. Nuestra página del proyecto se encuentra en https://ficoco-accelerate.github.io/.

English

To accelerate the inference of heavy Multimodal Large Language Models (MLLMs), this study rethinks the current landscape of training-free token reduction research. We regret to find that the critical components of existing methods are tightly intertwined, with their interconnections and effects remaining unclear for comparison, transfer, and expansion. Therefore, we propose a unified ''filter-correlate-compress'' paradigm that decomposes the token reduction into three distinct stages within a pipeline, maintaining consistent design objectives and elements while allowing for unique implementations. We additionally demystify the popular works and subsume them into our paradigm to showcase its universality. Finally, we offer a suite of methods grounded in the paradigm, striking a balance between speed and accuracy throughout different phases of the inference. Experimental results across 10 benchmarks indicate that our methods can achieve up to an 82.4% reduction in FLOPs with a minimal impact on performance, simultaneously surpassing state-of-the-art training-free methods. Our project page is at https://ficoco-accelerate.github.io/.