DyMU: Fusión Dinámica y Desfusión Virtual para VLMs Eficientes

DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs

April 23, 2025

Autores: Zhenhailong Wang, Senthil Purushwalkam, Caiming Xiong, Silvio Savarese, Heng Ji, Ran Xu

cs.AI

Resumen

Presentamos DyMU, un marco eficiente y libre de entrenamiento que reduce dinámicamente la carga computacional de los modelos de visión y lenguaje (VLMs) mientras mantiene un alto rendimiento en las tareas. Nuestro enfoque consta de dos componentes clave. Primero, Dynamic Token Merging (DToMe) reduce el número de embeddings de tokens visuales fusionando tokens similares según la complejidad de la imagen, abordando la ineficiencia inherente de las salidas de longitud fija en los transformadores de visión. Segundo, Virtual Token Unmerging (VTU) simula la secuencia esperada de tokens para los modelos de lenguaje grandes (LLMs) reconstruyendo eficientemente la dinámica de atención de una secuencia completa, preservando así el rendimiento en tareas posteriores sin necesidad de ajustes adicionales. A diferencia de enfoques anteriores, nuestro método adapta dinámicamente la compresión de tokens al contenido de la imagen y opera completamente sin entrenamiento, lo que lo hace aplicable a la mayoría de las arquitecturas VLM de vanguardia. Experimentos exhaustivos en tareas de comprensión de imágenes y videos demuestran que DyMU puede reducir el recuento promedio de tokens visuales entre un 32% y un 85%, logrando un rendimiento comparable a los modelos de longitud completa en diversas arquitecturas VLM, incluyendo los codificadores visuales basados en AnyRes recientemente popularizados. Además, mediante análisis cualitativos, demostramos que DToMe adapta efectivamente la reducción de tokens según la complejidad de la imagen y, a diferencia de los sistemas existentes, ofrece a los usuarios mayor control sobre los costos computacionales. Página del proyecto: https://mikewangwzhl.github.io/dymu/.

English

We present DyMU, an efficient, training-free framework that dynamically reduces the computational burden of vision-language models (VLMs) while maintaining high task performance. Our approach comprises two key components. First, Dynamic Token Merging (DToMe) reduces the number of visual token embeddings by merging similar tokens based on image complexity, addressing the inherent inefficiency of fixed-length outputs in vision transformers. Second, Virtual Token Unmerging (VTU) simulates the expected token sequence for large language models (LLMs) by efficiently reconstructing the attention dynamics of a full sequence, thus preserving the downstream performance without additional fine-tuning. Unlike previous approaches, our method dynamically adapts token compression to the content of the image and operates completely training-free, making it readily applicable to most state-of-the-art VLM architectures. Extensive experiments on image and video understanding tasks demonstrate that DyMU can reduce the average visual token count by 32%-85% while achieving comparable performance to full-length models across diverse VLM architectures, including the recently popularized AnyRes-based visual encoders. Furthermore, through qualitative analyses, we demonstrate that DToMe effectively adapts token reduction based on image complexity and, unlike existing systems, provides users more control over computational costs. Project page: https://mikewangwzhl.github.io/dymu/.