DyMU: Динамическое объединение и виртуальное разделение для повышения эффективности VLMs

DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs

April 23, 2025

Авторы: Zhenhailong Wang, Senthil Purushwalkam, Caiming Xiong, Silvio Savarese, Heng Ji, Ran Xu

cs.AI

Аннотация

Мы представляем DyMU — эффективную, не требующую обучения структуру, которая динамически снижает вычислительную нагрузку моделей обработки визуально-языковых данных (VLMs), сохраняя при этом высокую производительность в задачах. Наш подход включает два ключевых компонента. Во-первых, Dynamic Token Merging (DToMe) сокращает количество визуальных токенов, объединяя схожие токены на основе сложности изображения, что устраняет присущую неэффективность фиксированной длины выходных данных в трансформерах для обработки изображений. Во-вторых, Virtual Token Unmerging (VTU) моделирует ожидаемую последовательность токенов для больших языковых моделей (LLMs), эффективно восстанавливая динамику внимания полной последовательности, тем самым сохраняя производительность на последующих этапах без дополнительной тонкой настройки. В отличие от предыдущих подходов, наш метод динамически адаптирует сжатие токенов к содержанию изображения и работает полностью без обучения, что делает его легко применимым к большинству современных архитектур VLMs. Многочисленные эксперименты на задачах понимания изображений и видео демонстрируют, что DyMU может сократить среднее количество визуальных токенов на 32%-85%, достигая при этом сопоставимой производительности с моделями, использующими полную длину токенов, в различных архитектурах VLMs, включая недавно популярные визуальные кодировщики на основе AnyRes. Кроме того, качественный анализ показывает, что DToMe эффективно адаптирует сокращение токенов в зависимости от сложности изображения и, в отличие от существующих систем, предоставляет пользователям больше контроля над вычислительными затратами. Страница проекта: https://mikewangwzhl.github.io/dymu/.

English

We present DyMU, an efficient, training-free framework that dynamically reduces the computational burden of vision-language models (VLMs) while maintaining high task performance. Our approach comprises two key components. First, Dynamic Token Merging (DToMe) reduces the number of visual token embeddings by merging similar tokens based on image complexity, addressing the inherent inefficiency of fixed-length outputs in vision transformers. Second, Virtual Token Unmerging (VTU) simulates the expected token sequence for large language models (LLMs) by efficiently reconstructing the attention dynamics of a full sequence, thus preserving the downstream performance without additional fine-tuning. Unlike previous approaches, our method dynamically adapts token compression to the content of the image and operates completely training-free, making it readily applicable to most state-of-the-art VLM architectures. Extensive experiments on image and video understanding tasks demonstrate that DyMU can reduce the average visual token count by 32%-85% while achieving comparable performance to full-length models across diverse VLM architectures, including the recently popularized AnyRes-based visual encoders. Furthermore, through qualitative analyses, we demonstrate that DToMe effectively adapts token reduction based on image complexity and, unlike existing systems, provides users more control over computational costs. Project page: https://mikewangwzhl.github.io/dymu/.