DUET-VLM: Reducción Eficiente Unificada de Tokens en Dos Etapas para el Entrenamiento e Inferencia de VLM

DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

February 21, 2026

Autores: Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

cs.AI

Resumen

Los modelos visión-lenguaje (VLM) han logrado capacidades notables de comprensión y razonamiento multimodal, pero siguen siendo computacionalmente costosos debido a la tokenización visual densa. Los enfoques existentes para mejorar la eficiencia fusionan tokens visuales redundantes o los descartan progresivamente en el backbone lingüístico, a menudo sacrificando precisión por velocidad. En este trabajo, proponemos DUET-VLM, un marco de compresión dual versátil y listo para usar que consiste en (a) una compresión consciente de la redundancia, solo de visión, de la salida del codificador visual en tokens que preservan la información, seguida de (b) un descarte capa por capa, guiado por texto saliente, de tokens visuales dentro del backbone lingüístico para podar progresivamente los tokens menos informativos. Esta gestión coordinada de tokens permite una compresión agresiva mientras retiene la semántica crítica. En LLaVA-1.5-7B, nuestro enfoque mantiene más del 99% de la precisión de la línea base con un 67% menos de tokens, y aún retiene >97% incluso con una reducción del 89%. Con esta compresión de doble etapa durante el entrenamiento, logra un 99.7% de precisión al 67% de reducción y un 97.6% al 89%, superando a los métodos SoTA previos de reducción de tokens visuales en múltiples benchmarks. Cuando se integra en Video-LLaVA-7B, incluso supera la línea base —logrando >100% de precisión con una sustancial reducción del 53.1% de tokens y manteniendo un 97.6% de precisión bajo un ajuste extremo del 93.4%. Estos resultados destacan el entrenamiento end-to-end con DUET-VLM, permitiendo una adaptación robusta a una entrada visual (imagen/video) reducida sin sacrificar precisión, produciendo representaciones compactas pero semánticamente ricas dentro del mismo presupuesto computacional. Nuestro código está disponible en https://github.com/AMD-AGI/DUET-VLM.

English

Vision-language models (VLMs) have achieved remarkable multimodal understanding and reasoning capabilities, yet remain computationally expensive due to dense visual tokenization. Existing efficiency approaches either merge redundant visual tokens or drop them progressively in language backbone, often trading accuracy for speed. In this work, we propose DUET-VLM, a versatile plug-and-play dual compression framework that consists of (a) vision-only redundancy aware compression of vision encoder's output into information-preserving tokens, followed by (b) layer-wise, salient text-guided dropping of visual tokens within the language backbone to progressively prune less informative tokens. This coordinated token management enables aggressive compression while retaining critical semantics. On LLaVA-1.5-7B, our approach maintains over 99% of baseline accuracy with 67% fewer tokens, and still retains >97% even at 89% reduction. With this dual-stage compression during training, it achieves 99.7% accuracy at 67% and 97.6% at 89%, surpassing prior SoTA visual token reduction methods across multiple benchmarks. When integrated into Video-LLaVA-7B, it even surpasses the baseline -- achieving >100% accuracy with a substantial 53.1% token reduction and retaining 97.6% accuracy under an extreme 93.4% setting. These results highlight end-to-end training with DUET-VLM, enabling robust adaptation to reduced visual (image/video) input without sacrificing accuracy, producing compact yet semantically rich representations within the same computational budget. Our code is available at https://github.com/AMD-AGI/DUET-VLM.