DyMU: Fusione Dinamica e Separazione Virtuale per VLM Efficienti

DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs

April 23, 2025

Autori: Zhenhailong Wang, Senthil Purushwalkam, Caiming Xiong, Silvio Savarese, Heng Ji, Ran Xu

cs.AI

Abstract

Presentiamo DyMU, un framework efficiente e privo di addestramento che riduce dinamicamente il carico computazionale dei modelli visione-linguaggio (VLMs) mantenendo elevate prestazioni nelle attività. Il nostro approccio comprende due componenti chiave. Innanzitutto, il Dynamic Token Merging (DToMe) riduce il numero di embedding di token visivi unendo token simili in base alla complessità dell'immagine, affrontando l'inefficienza intrinseca degli output a lunghezza fissa nei vision transformer. In secondo luogo, il Virtual Token Unmerging (VTU) simula la sequenza di token attesa per i grandi modelli linguistici (LLMs) ricostruendo in modo efficiente le dinamiche di attenzione di una sequenza completa, preservando così le prestazioni a valle senza ulteriori operazioni di fine-tuning. A differenza dei metodi precedenti, il nostro approccio adatta dinamicamente la compressione dei token al contenuto dell'immagine e opera completamente senza addestramento, rendendolo immediatamente applicabile alla maggior parte delle architetture VLM all'avanguardia. Esperimenti estesi su compiti di comprensione di immagini e video dimostrano che DyMU può ridurre il numero medio di token visivi del 32%-85% raggiungendo prestazioni comparabili ai modelli a lunghezza completa su diverse architetture VLM, inclusi i recenti encoder visivi basati su AnyRes. Inoltre, attraverso analisi qualitative, dimostriamo che DToMe adatta efficacemente la riduzione dei token in base alla complessità dell'immagine e, a differenza dei sistemi esistenti, offre agli utenti un maggiore controllo sui costi computazionali. Pagina del progetto: https://mikewangwzhl.github.io/dymu/.

English

We present DyMU, an efficient, training-free framework that dynamically reduces the computational burden of vision-language models (VLMs) while maintaining high task performance. Our approach comprises two key components. First, Dynamic Token Merging (DToMe) reduces the number of visual token embeddings by merging similar tokens based on image complexity, addressing the inherent inefficiency of fixed-length outputs in vision transformers. Second, Virtual Token Unmerging (VTU) simulates the expected token sequence for large language models (LLMs) by efficiently reconstructing the attention dynamics of a full sequence, thus preserving the downstream performance without additional fine-tuning. Unlike previous approaches, our method dynamically adapts token compression to the content of the image and operates completely training-free, making it readily applicable to most state-of-the-art VLM architectures. Extensive experiments on image and video understanding tasks demonstrate that DyMU can reduce the average visual token count by 32%-85% while achieving comparable performance to full-length models across diverse VLM architectures, including the recently popularized AnyRes-based visual encoders. Furthermore, through qualitative analyses, we demonstrate that DToMe effectively adapts token reduction based on image complexity and, unlike existing systems, provides users more control over computational costs. Project page: https://mikewangwzhl.github.io/dymu/.