DUET-VLM: Двухэтапное унифицированное эффективное сокращение токенов для обучения и вывода VLM

DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

February 21, 2026

Авторы: Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

cs.AI

Аннотация

Модели «визуальный язык» (VLM) демонстрируют выдающиеся способности к мультимодальному пониманию и рассуждению, однако остаются вычислительно дорогими из-за плотной визуальной токенизации. Существующие подходы к повышению эффективности либо объединяют избыточные визуальные токены, либо постепенно отбрасывают их в языковой основе, часто жертвуя точностью ради скорости. В данной работе мы предлагаем DUET-VLM — универсальную модульную структуру двойного сжатия, которая включает (a) осознанное сжатие избыточности только в визуальной области, преобразующее выходные данные визуального кодера в токены, сохраняющие информацию, с последующим (b) послойным, значимым текстово-управляемым отбрасыванием визуальных токенов внутри языковой основы для постепенного удаления менее информативных токенов. Такое согласованное управление токенами позволяет проводить агрессивное сжатие, сохраняя при этом критическую семантику. На LLaVA-1.5-7B наш подход сохраняет более 99% точности базового уровня при использовании на 67% меньше токенов и удерживает >97% даже при сокращении на 89%. Благодаря двухэтапному сжатию во время обучения достигается точность 99,7% при 67%-ном сокращении и 97,6% при 89%-ном, превосходя предыдущие методы сокращения визуальных токенов по состоянию на текущий момент (SoTA) на нескольких тестовых наборах. При интеграции в Video-LLaVA-7B метод даже превосходит базовый уровень — достигая точности >100% при значительном сокращении токенов на 53,1% и сохраняя 97,6% точности в экстремальных условиях сокращения на 93,4%. Эти результаты подчеркивают преимущество сквозного обучения с DUET-VLM, обеспечивающего устойчивую адаптацию к сокращенному визуальному (изображение/видео) входу без потери точности и создающего компактные, но семантически насыщенные представления в рамках того же вычислительного бюджета. Наш код доступен по адресу https://github.com/AMD-AGI/DUET-VLM.

English

Vision-language models (VLMs) have achieved remarkable multimodal understanding and reasoning capabilities, yet remain computationally expensive due to dense visual tokenization. Existing efficiency approaches either merge redundant visual tokens or drop them progressively in language backbone, often trading accuracy for speed. In this work, we propose DUET-VLM, a versatile plug-and-play dual compression framework that consists of (a) vision-only redundancy aware compression of vision encoder's output into information-preserving tokens, followed by (b) layer-wise, salient text-guided dropping of visual tokens within the language backbone to progressively prune less informative tokens. This coordinated token management enables aggressive compression while retaining critical semantics. On LLaVA-1.5-7B, our approach maintains over 99% of baseline accuracy with 67% fewer tokens, and still retains >97% even at 89% reduction. With this dual-stage compression during training, it achieves 99.7% accuracy at 67% and 97.6% at 89%, surpassing prior SoTA visual token reduction methods across multiple benchmarks. When integrated into Video-LLaVA-7B, it even surpasses the baseline -- achieving >100% accuracy with a substantial 53.1% token reduction and retaining 97.6% accuracy under an extreme 93.4% setting. These results highlight end-to-end training with DUET-VLM, enabling robust adaptation to reduced visual (image/video) input without sacrificing accuracy, producing compact yet semantically rich representations within the same computational budget. Our code is available at https://github.com/AMD-AGI/DUET-VLM.