HiRED : Abandon de jeton guidé par l'attention pour une inférence efficace des modèles vision-langage haute résolution dans des environnements contraints en ressources

HiRED: Attention-Guided Token Dropping for Efficient Inference of High-Resolution Vision-Language Models in Resource-Constrained Environments

August 20, 2024

Auteurs: Kazi Hasan Ibn Arif, JinYi Yoon, Dimitrios S. Nikolopoulos, Hans Vandierendonck, Deepu John, Bo Ji

cs.AI

Résumé

Les modèles Vision-Language à haute résolution (VLM) sont largement utilisés dans les tâches multimodales pour améliorer la précision en préservant les informations détaillées de l'image. Cependant, ces modèles génèrent souvent un excès de jetons visuels en raison de l'encodage de multiples partitions de l'image d'entrée. Le traitement de ces jetons visuels excessifs est un défi computationnel, en particulier dans des environnements contraints en ressources avec des GPU grand public. Pour prendre en charge les images à haute résolution tout en respectant les contraintes de ressources, nous proposons le mécanisme de suppression précoce à haute résolution (HiRED), un schéma de suppression de jetons qui fonctionne dans le cadre d'un budget de jetons fixe avant l'étape du Grand Modèle de Langage (LLM). HiRED peut être intégré aux VLM à haute résolution existants de manière plug-and-play, car il ne nécessite aucun entraînement supplémentaire tout en maintenant une précision supérieure. Nous utilisons stratégiquement l'attention de l'encodeur de vision dans les couches initiales pour évaluer le contenu visuel de chaque partition d'image et allouer le budget de jetons en conséquence. Ensuite, en utilisant l'attention dans la couche finale, nous sélectionnons les jetons visuels les plus importants de chaque partition dans le budget alloué, en supprimant le reste. Empiriquement, lorsqu'appliqué à LLaVA-Next-7B sur un GPU NVIDIA TESLA P40, HiRED avec un budget de jetons de 20 % augmente le débit de génération de jetons de 4,7, réduit la latence de génération du premier jeton de 15 secondes et économise 2,3 Go de mémoire GPU pour une seule inférence.

English

High-resolution Vision-Language Models (VLMs) have been widely used in multimodal tasks to enhance accuracy by preserving detailed image information. However, these models often generate excessive visual tokens due to encoding multiple partitions of the input image. Processing these excessive visual tokens is computationally challenging, especially in resource-constrained environments with commodity GPUs. To support high-resolution images while meeting resource constraints, we propose High-Resolution Early Dropping (HiRED), a token-dropping scheme that operates within a fixed token budget before the Large Language Model (LLM) stage. HiRED can be integrated with existing high-resolution VLMs in a plug-and-play manner, as it requires no additional training while still maintaining superior accuracy. We strategically use the vision encoder's attention in the initial layers to assess the visual content of each image partition and allocate the token budget accordingly. Then, using the attention in the final layer, we select the most important visual tokens from each partition within the allocated budget, dropping the rest. Empirically, when applied to LLaVA-Next-7B on NVIDIA TESLA P40 GPU, HiRED with a 20% token budget increases token generation throughput by 4.7, reduces first-token generation latency by 15 seconds, and saves 2.3 GB of GPU memory for a single inference.