DUET-VLM: Zweistufige einheitliche effiziente Token-Reduktion für VLM-Training und -Inferenz

DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

February 21, 2026

Autoren: Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

cs.AI

Zusammenfassung

Vision-Language-Modelle (VLMs) haben bemerkenswerte multimodale Verständnis- und Reasoning-Fähigkeiten erreicht, bleiben jedoch aufgrund dichter visueller Tokenisierung rechenintensiv. Bestehende Effizienzansätze fusionieren entweder redundante visuelle Tokens oder verwerfen sie schrittweise im Sprach-Backbone, was oft Genauigkeit gegen Geschwindigkeit eintauscht. In dieser Arbeit schlagen wir DUET-VLM vor, ein vielseitiges Plug-and-Play-Dualkompressionsframework, das aus (a) einer rein visuellen, redundanzbewussten Kompression der Ausgabe des Vision-Encoders in erhaltende Tokens besteht, gefolgt von (b) einem schichtweisen, salienten textgeführten Verwerfen visueller Tokens innerhalb des Sprach-Backbones, um weniger informative Tokens progressiv zu beschneiden. Dieses koordinierte Token-Management ermöglicht eine aggressive Kompression bei Beibehaltung kritischer Semantik. Bei LLaVA-1.5-7B bewahrt unser Ansatz über 99 % der Baseline-Genauigkeit mit 67 % weniger Tokens und behält selbst bei 89 % Reduktion >97 %. Mit dieser zweistufigen Kompression während des Trainings erreicht es 99,7 % Genauigkeit bei 67 % und 97,6 % bei 89 % Reduktion und übertrifft damit bisherige State-of-the-Art-Methoden zur visuellen Token-Reduktion in mehreren Benchmarks. Bei Integration in Video-LLaVA-7B übertrifft es sogar die Baseline – es erreicht >100 % Genauigkeit bei einer deutlichen Reduktion um 53,1 % und behält 97,6 % Genauigkeit unter einer extremen Reduktion von 93,4 %. Diese Ergebnisse unterstreichen das End-to-End-Training mit DUET-VLM, das eine robuste Anpassung an reduzierte visuelle (Bild-/Video-)Eingaben ohne Genauigkeitsverlust ermöglicht und kompakte, aber semantisch reiche Repräsentationen innerhalb desselben Rechenbudgets erzeugt. Unser Code ist verfügbar unter https://github.com/AMD-AGI/DUET-VLM.

English

Vision-language models (VLMs) have achieved remarkable multimodal understanding and reasoning capabilities, yet remain computationally expensive due to dense visual tokenization. Existing efficiency approaches either merge redundant visual tokens or drop them progressively in language backbone, often trading accuracy for speed. In this work, we propose DUET-VLM, a versatile plug-and-play dual compression framework that consists of (a) vision-only redundancy aware compression of vision encoder's output into information-preserving tokens, followed by (b) layer-wise, salient text-guided dropping of visual tokens within the language backbone to progressively prune less informative tokens. This coordinated token management enables aggressive compression while retaining critical semantics. On LLaVA-1.5-7B, our approach maintains over 99% of baseline accuracy with 67% fewer tokens, and still retains >97% even at 89% reduction. With this dual-stage compression during training, it achieves 99.7% accuracy at 67% and 97.6% at 89%, surpassing prior SoTA visual token reduction methods across multiple benchmarks. When integrated into Video-LLaVA-7B, it even surpasses the baseline -- achieving >100% accuracy with a substantial 53.1% token reduction and retaining 97.6% accuracy under an extreme 93.4% setting. These results highlight end-to-end training with DUET-VLM, enabling robust adaptation to reduced visual (image/video) input without sacrificing accuracy, producing compact yet semantically rich representations within the same computational budget. Our code is available at https://github.com/AMD-AGI/DUET-VLM.