HiRED: Aufmerksamkeitsgesteuertes Token-Dropping zur effizienten Inferenz von hochauflösenden Vision-Language-Modellen in ressourcenbeschränkten Umgebungen

HiRED: Attention-Guided Token Dropping for Efficient Inference of High-Resolution Vision-Language Models in Resource-Constrained Environments

August 20, 2024

Autoren: Kazi Hasan Ibn Arif, JinYi Yoon, Dimitrios S. Nikolopoulos, Hans Vandierendonck, Deepu John, Bo Ji

cs.AI

Zusammenfassung

Hochauflösende Vision-Language-Modelle (VLMs) werden weit verbreitet in multimodalen Aufgaben eingesetzt, um die Genauigkeit zu verbessern, indem detaillierte Bildinformationen erhalten bleiben. Diese Modelle erzeugen jedoch oft übermäßige visuelle Tokens aufgrund der Kodierung mehrerer Partitionen des Eingabebildes. Die Verarbeitung dieser übermäßigen visuellen Tokens ist rechnerisch anspruchsvoll, insbesondere in ressourcenbeschränkten Umgebungen mit handelsüblichen GPUs. Um hochauflösende Bilder zu unterstützen und gleichzeitig Ressourcenbeschränkungen einzuhalten, schlagen wir High-Resolution Early Dropping (HiRED) vor, ein Token-Dropping-Schema, das innerhalb eines festen Token-Budgets vor der Phase des Large Language Models (LLM) arbeitet. HiRED kann in bestehende hochauflösende VLMs auf Plug-and-Play-Basis integriert werden, da es kein zusätzliches Training erfordert und dennoch eine überlegene Genauigkeit beibehält. Wir nutzen strategisch die Aufmerksamkeit des Vision-Encoders in den ersten Schichten, um den visuellen Inhalt jeder Bildpartition zu bewerten und das Token-Budget entsprechend zuzuweisen. Anschließend wählen wir unter Verwendung der Aufmerksamkeit in der letzten Schicht die wichtigsten visuellen Tokens aus jeder Partition innerhalb des zugewiesenen Budgets aus und verwerfen den Rest. Empirisch gesehen erhöht HiRED mit einem Token-Budget von 20% bei Anwendung auf LLaVA-Next-7B auf einer NVIDIA TESLA P40 GPU die Token-Generierungs-Durchsatzrate um 4,7, reduziert die Latenz bei der Generierung des ersten Tokens um 15 Sekunden und spart 2,3 GB GPU-Speicher für eine einzelne Inferenz.

English

High-resolution Vision-Language Models (VLMs) have been widely used in multimodal tasks to enhance accuracy by preserving detailed image information. However, these models often generate excessive visual tokens due to encoding multiple partitions of the input image. Processing these excessive visual tokens is computationally challenging, especially in resource-constrained environments with commodity GPUs. To support high-resolution images while meeting resource constraints, we propose High-Resolution Early Dropping (HiRED), a token-dropping scheme that operates within a fixed token budget before the Large Language Model (LLM) stage. HiRED can be integrated with existing high-resolution VLMs in a plug-and-play manner, as it requires no additional training while still maintaining superior accuracy. We strategically use the vision encoder's attention in the initial layers to assess the visual content of each image partition and allocate the token budget accordingly. Then, using the attention in the final layer, we select the most important visual tokens from each partition within the allocated budget, dropping the rest. Empirically, when applied to LLaVA-Next-7B on NVIDIA TESLA P40 GPU, HiRED with a 20% token budget increases token generation throughput by 4.7, reduces first-token generation latency by 15 seconds, and saves 2.3 GB of GPU memory for a single inference.