DUET-VLM : Réduction efficace unifiée des tokens en deux étapes pour l'entraînement et l'inférence des modèles de langage visuel

DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

February 21, 2026

Auteurs: Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

cs.AI

Résumé

Les modèles vision-langage (VLM) ont atteint des capacités remarquables de compréhension et de raisonnement multimodal, mais restent computationnellement coûteux en raison de la tokenisation visuelle dense. Les approches existantes d'efficacité fusionnent les tokens visuels redondants ou les éliminent progressivement dans le backbone linguistique, souvent au détriment de la précision. Dans ce travail, nous proposons DUET-VLM, un cadre de compression duale polyvalent plug-and-play qui consiste en (a) une compression visuelle uniquement, consciente de la redondance, de la sortie de l'encodeur visuel en tokens préservant l'information, suivie de (b) l'abandon couche par couche, guidé par le texte salient, des tokens visuels au sein du backbone linguistique pour élaguer progressivement les tokens moins informatifs. Cette gestion coordonnée des tokens permet une compression agressive tout en conservant la sémantique critique. Sur LLaVA-1.5-7B, notre approche maintient plus de 99 % de la précision de référence avec 67 % de tokens en moins, et conserve encore plus de 97 % même avec une réduction de 89 %. Avec cette compression bi-étagée pendant l'entraînement, elle atteint 99,7 % de précision à 67 % de réduction et 97,6 % à 89 %, surpassant les méthodes état de l'art antérieures de réduction de tokens visuels sur plusieurs benchmarks. Intégrée dans Video-LLaVA-7B, elle dépasse même la référence – atteignant une précision >100 % avec une réduction substantielle de 53,1 % des tokens et conservant 97,6 % de précision dans un cadre extrême de 93,4 %. Ces résultats mettent en évidence l'entraînement de bout en bout avec DUET-VLM, permettant une adaptation robuste à une entrée visuelle (image/vidéo) réduite sans sacrifier la précision, produisant des représentations compactes mais sémantiquement riches dans le même budget computationnel. Notre code est disponible à l'adresse https://github.com/AMD-AGI/DUET-VLM.

English

Vision-language models (VLMs) have achieved remarkable multimodal understanding and reasoning capabilities, yet remain computationally expensive due to dense visual tokenization. Existing efficiency approaches either merge redundant visual tokens or drop them progressively in language backbone, often trading accuracy for speed. In this work, we propose DUET-VLM, a versatile plug-and-play dual compression framework that consists of (a) vision-only redundancy aware compression of vision encoder's output into information-preserving tokens, followed by (b) layer-wise, salient text-guided dropping of visual tokens within the language backbone to progressively prune less informative tokens. This coordinated token management enables aggressive compression while retaining critical semantics. On LLaVA-1.5-7B, our approach maintains over 99% of baseline accuracy with 67% fewer tokens, and still retains >97% even at 89% reduction. With this dual-stage compression during training, it achieves 99.7% accuracy at 67% and 97.6% at 89%, surpassing prior SoTA visual token reduction methods across multiple benchmarks. When integrated into Video-LLaVA-7B, it even surpasses the baseline -- achieving >100% accuracy with a substantial 53.1% token reduction and retaining 97.6% accuracy under an extreme 93.4% setting. These results highlight end-to-end training with DUET-VLM, enabling robust adaptation to reduced visual (image/video) input without sacrificing accuracy, producing compact yet semantically rich representations within the same computational budget. Our code is available at https://github.com/AMD-AGI/DUET-VLM.