DyMU: Fusão Dinâmica e Desfusão Virtual para VLMs Eficientes

DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs

April 23, 2025

Autores: Zhenhailong Wang, Senthil Purushwalkam, Caiming Xiong, Silvio Savarese, Heng Ji, Ran Xu

cs.AI

Resumo

Apresentamos o DyMU, um framework eficiente e livre de treinamento que reduz dinamicamente a carga computacional de modelos visão-linguagem (VLMs) enquanto mantém um alto desempenho em tarefas. Nossa abordagem compreende dois componentes principais. Primeiro, o Dynamic Token Merging (DToMe) reduz o número de embeddings de tokens visuais ao mesclar tokens semelhantes com base na complexidade da imagem, abordando a ineficiência inerente de saídas de comprimento fixo em transformadores de visão. Segundo, o Virtual Token Unmerging (VTU) simula a sequência esperada de tokens para grandes modelos de linguagem (LLMs) ao reconstruir eficientemente a dinâmica de atenção de uma sequência completa, preservando assim o desempenho downstream sem a necessidade de ajustes adicionais. Diferente de abordagens anteriores, nosso método adapta dinamicamente a compressão de tokens ao conteúdo da imagem e opera completamente sem treinamento, tornando-o prontamente aplicável à maioria das arquiteturas VLM state-of-the-art. Experimentos extensivos em tarefas de compreensão de imagens e vídeos demonstram que o DyMU pode reduzir a contagem média de tokens visuais em 32%-85% enquanto alcança desempenho comparável a modelos de comprimento total em diversas arquiteturas VLM, incluindo os recentemente popularizados codificadores visuais baseados em AnyRes. Além disso, por meio de análises qualitativas, demonstramos que o DToMe adapta efetivamente a redução de tokens com base na complexidade da imagem e, ao contrário de sistemas existentes, oferece aos usuários maior controle sobre os custos computacionais. Página do projeto: https://mikewangwzhl.github.io/dymu/.

English

We present DyMU, an efficient, training-free framework that dynamically reduces the computational burden of vision-language models (VLMs) while maintaining high task performance. Our approach comprises two key components. First, Dynamic Token Merging (DToMe) reduces the number of visual token embeddings by merging similar tokens based on image complexity, addressing the inherent inefficiency of fixed-length outputs in vision transformers. Second, Virtual Token Unmerging (VTU) simulates the expected token sequence for large language models (LLMs) by efficiently reconstructing the attention dynamics of a full sequence, thus preserving the downstream performance without additional fine-tuning. Unlike previous approaches, our method dynamically adapts token compression to the content of the image and operates completely training-free, making it readily applicable to most state-of-the-art VLM architectures. Extensive experiments on image and video understanding tasks demonstrate that DyMU can reduce the average visual token count by 32%-85% while achieving comparable performance to full-length models across diverse VLM architectures, including the recently popularized AnyRes-based visual encoders. Furthermore, through qualitative analyses, we demonstrate that DToMe effectively adapts token reduction based on image complexity and, unlike existing systems, provides users more control over computational costs. Project page: https://mikewangwzhl.github.io/dymu/.