HiRED: Attention-Gestuurde Tokenverwijdering voor Efficiënte Inferentie van Hoogresolutie Visie-Taalmodellen in Omgevingen met Beperkte Middelen

HiRED: Attention-Guided Token Dropping for Efficient Inference of High-Resolution Vision-Language Models in Resource-Constrained Environments

August 20, 2024

Auteurs: Kazi Hasan Ibn Arif, JinYi Yoon, Dimitrios S. Nikolopoulos, Hans Vandierendonck, Deepu John, Bo Ji

cs.AI

Samenvatting

High-Resolution Vision-Language Models (VLMs) worden veelvuldig gebruikt in multimodale taken om de nauwkeurigheid te verbeteren door gedetailleerde beeldinformatie te behouden. Deze modellen genereren echter vaak een overmaat aan visuele tokens doordat ze meerdere partities van het invoerbeeld coderen. Het verwerken van deze overmatige visuele tokens is computationeel uitdagend, vooral in omgevingen met beperkte middelen waar commodity GPU's worden gebruikt. Om hoge-resolutiebeelden te ondersteunen binnen de beperkingen van beschikbare middelen, stellen we High-Resolution Early Dropping (HiRED) voor, een token-dropping schema dat werkt binnen een vast tokenbudget vóór de Large Language Model (LLM)-fase. HiRED kan op een plug-and-play manier worden geïntegreerd met bestaande high-resolution VLMs, omdat het geen aanvullende training vereist en toch superieure nauwkeurigheid behoudt. We gebruiken strategisch de aandacht van de vision encoder in de initiële lagen om de visuele inhoud van elke beeldpartitie te beoordelen en het tokenbudget dienovereenkomstig toe te wijzen. Vervolgens gebruiken we de aandacht in de laatste laag om de belangrijkste visuele tokens uit elke partitie binnen het toegewezen budget te selecteren, waarbij de rest wordt weggegooid. Empirisch gezien, wanneer toegepast op LLaVA-Next-7B op een NVIDIA TESLA P40 GPU, verhoogt HiRED met een tokenbudget van 20% de doorvoer van token-generatie met 4,7, vermindert het de latentie van de eerste token-generatie met 15 seconden en bespaart het 2,3 GB GPU-geheugen voor een enkele inferentie.

English

High-resolution Vision-Language Models (VLMs) have been widely used in multimodal tasks to enhance accuracy by preserving detailed image information. However, these models often generate excessive visual tokens due to encoding multiple partitions of the input image. Processing these excessive visual tokens is computationally challenging, especially in resource-constrained environments with commodity GPUs. To support high-resolution images while meeting resource constraints, we propose High-Resolution Early Dropping (HiRED), a token-dropping scheme that operates within a fixed token budget before the Large Language Model (LLM) stage. HiRED can be integrated with existing high-resolution VLMs in a plug-and-play manner, as it requires no additional training while still maintaining superior accuracy. We strategically use the vision encoder's attention in the initial layers to assess the visual content of each image partition and allocate the token budget accordingly. Then, using the attention in the final layer, we select the most important visual tokens from each partition within the allocated budget, dropping the rest. Empirically, when applied to LLaVA-Next-7B on NVIDIA TESLA P40 GPU, HiRED with a 20% token budget increases token generation throughput by 4.7, reduces first-token generation latency by 15 seconds, and saves 2.3 GB of GPU memory for a single inference.