HiRED: Eliminação de Tokens Guiada por Atenção para Inferência Eficiente de Modelos de Visão-Linguagem de Alta Resolução em Ambientes com Restrição de Recursos

HiRED: Attention-Guided Token Dropping for Efficient Inference of High-Resolution Vision-Language Models in Resource-Constrained Environments

August 20, 2024

Autores: Kazi Hasan Ibn Arif, JinYi Yoon, Dimitrios S. Nikolopoulos, Hans Vandierendonck, Deepu John, Bo Ji

cs.AI

Resumo

Os Modelos de Visão-Linguagem de Alta Resolução (VLMs) têm sido amplamente utilizados em tarefas multimodais para aumentar a precisão ao preservar informações detalhadas da imagem. No entanto, esses modelos frequentemente geram tokens visuais excessivos devido à codificação de múltiplas partições da imagem de entrada. Processar esses tokens visuais excessivos é desafiador computacionalmente, especialmente em ambientes com recursos limitados e GPUs convencionais. Para suportar imagens de alta resolução atendendo às restrições de recursos, propomos o Descarte Antecipado de Alta Resolução (HiRED), um esquema de descarte de tokens que opera dentro de um orçamento fixo de tokens antes da etapa do Grande Modelo de Linguagem (LLM). O HiRED pode ser integrado aos VLMs de alta resolução existentes de forma plug-and-play, pois não requer treinamento adicional, mantendo ainda uma precisão superior. Utilizamos estrategicamente a atenção do codificador de visão nas camadas iniciais para avaliar o conteúdo visual de cada partição da imagem e alocar o orçamento de tokens de acordo. Em seguida, usando a atenção na camada final, selecionamos os tokens visuais mais importantes de cada partição dentro do orçamento alocado, descartando o restante. Empiricamente, quando aplicado ao LLaVA-Next-7B na GPU NVIDIA TESLA P40, o HiRED com um orçamento de tokens de 20% aumenta a taxa de geração de tokens em 4,7, reduz a latência de geração do primeiro token em 15 segundos e economiza 2,3 GB de memória da GPU para uma única inferência.

English

High-resolution Vision-Language Models (VLMs) have been widely used in multimodal tasks to enhance accuracy by preserving detailed image information. However, these models often generate excessive visual tokens due to encoding multiple partitions of the input image. Processing these excessive visual tokens is computationally challenging, especially in resource-constrained environments with commodity GPUs. To support high-resolution images while meeting resource constraints, we propose High-Resolution Early Dropping (HiRED), a token-dropping scheme that operates within a fixed token budget before the Large Language Model (LLM) stage. HiRED can be integrated with existing high-resolution VLMs in a plug-and-play manner, as it requires no additional training while still maintaining superior accuracy. We strategically use the vision encoder's attention in the initial layers to assess the visual content of each image partition and allocate the token budget accordingly. Then, using the attention in the final layer, we select the most important visual tokens from each partition within the allocated budget, dropping the rest. Empirically, when applied to LLaVA-Next-7B on NVIDIA TESLA P40 GPU, HiRED with a 20% token budget increases token generation throughput by 4.7, reduces first-token generation latency by 15 seconds, and saves 2.3 GB of GPU memory for a single inference.