Uma Imagem Vale 1/2 Tokens Após a Camada 2: Aceleração de Inferência Plug-and-Play para Grandes Modelos de Visão e Linguagem

An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models

March 11, 2024

Autores: Liang Chen, Haozhe Zhao, Tianyu Liu, Shuai Bai, Junyang Lin, Chang Zhou, Baobao Chang

cs.AI

Resumo

Neste estudo, identificamos os fenômenos de atenção ineficiente em Grandes Modelos de Visão e Linguagem (LVLMs), particularmente em modelos proeminentes como LLaVA-1.5, QwenVL-Chat e Video-LLaVA. Descobrimos que o cálculo de atenção sobre os tokens visuais é extremamente ineficiente nas camadas profundas desses LVLMs populares, sugerindo a necessidade de uma abordagem mais esparsa em comparação com o tratamento de dados textuais. Para isso, introduzimos o FastV, um método versátil e plug-and-play projetado para otimizar a eficiência computacional ao aprender padrões de atenção adaptativos nas camadas iniciais e podar tokens visuais nas camadas subsequentes. Nossas avaliações demonstram a capacidade do FastV de reduzir drasticamente os custos computacionais (por exemplo, uma redução de 45 vezes nos FLOPs para o LLaVA-1.5-13B) sem sacrificar o desempenho em uma ampla gama de tarefas de compreensão de imagens e vídeos. A relação entre eficiência computacional e desempenho do FastV é altamente personalizável e Pareto-eficiente. Ele pode comprimir os FLOPs de um modelo de 13 bilhões de parâmetros para alcançar um orçamento menor do que o de um modelo de 7 bilhões de parâmetros, mantendo ainda um desempenho superior. Acreditamos que o FastV tem valor prático para a implantação de LVLMs em dispositivos de borda e modelos comerciais. O código está disponível em https://github.com/pkunlp-icler/FastV.

English

In this study, we identify the inefficient attention phenomena in Large Vision-Language Models (LVLMs), notably within prominent models like LLaVA-1.5, QwenVL-Chat and Video-LLaVA. We find out that the attention computation over visual tokens is of extreme inefficiency in the deep layers of popular LVLMs, suggesting a need for a sparser approach compared to textual data handling. To this end, we introduce FastV, a versatile plug-and-play method designed to optimize computational efficiency by learning adaptive attention patterns in early layers and pruning visual tokens in subsequent ones. Our evaluations demonstrate FastV's ability to dramatically reduce computational costs (e.g., a 45 reduction in FLOPs for LLaVA-1.5-13B) without sacrificing performance in a wide range of image and video understanding tasks. The computational efficiency and performance trade-off of FastV are highly customizable and pareto-efficient. It can compress the FLOPs of a 13B-parameter model to achieve a lower budget than that of a 7B-parameter model, while still maintaining superior performance. We believe FastV has practical values for deployment of LVLMs in edge devices and commercial models. Code is released at https://github.com/pkunlp-icler/FastV.