Un'immagine vale 1/2 token dopo il Layer 2: Accelerazione dell'inferenza plug-and-play per grandi modelli visione-linguaggio

An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models

March 11, 2024

Autori: Liang Chen, Haozhe Zhao, Tianyu Liu, Shuai Bai, Junyang Lin, Chang Zhou, Baobao Chang

cs.AI

Abstract

In questo studio, identifichiamo i fenomeni di attenzione inefficiente nei Modelli Linguistico-Visuali di Grande Scala (LVLM), in particolare all'interno di modelli di rilievo come LLaVA-1.5, QwenVL-Chat e Video-LLaVA. Scopriamo che il calcolo dell'attenzione sui token visivi è estremamente inefficiente negli strati profondi dei LVLM più diffusi, suggerendo la necessità di un approccio più sparso rispetto alla gestione dei dati testuali. A tal fine, introduciamo FastV, un metodo versatile plug-and-play progettato per ottimizzare l'efficienza computazionale apprendendo pattern di attenzione adattivi negli strati iniziali e potando i token visivi in quelli successivi. Le nostre valutazioni dimostrano la capacità di FastV di ridurre drasticamente i costi computazionali (ad esempio, una riduzione del 45% nei FLOP per LLaVA-1.5-13B) senza sacrificare le prestazioni in un'ampia gamma di compiti di comprensione di immagini e video. Il compromesso tra efficienza computazionale e prestazioni di FastV è altamente personalizzabile e pareto-efficiente. Può comprimere i FLOP di un modello con 13 miliardi di parametri per raggiungere un budget inferiore a quello di un modello con 7 miliardi di parametri, mantenendo comunque prestazioni superiori. Crediamo che FastV abbia un valore pratico per il deployment di LVLM su dispositivi edge e modelli commerciali. Il codice è rilasciato all'indirizzo https://github.com/pkunlp-icler/FastV.

English

In this study, we identify the inefficient attention phenomena in Large Vision-Language Models (LVLMs), notably within prominent models like LLaVA-1.5, QwenVL-Chat and Video-LLaVA. We find out that the attention computation over visual tokens is of extreme inefficiency in the deep layers of popular LVLMs, suggesting a need for a sparser approach compared to textual data handling. To this end, we introduce FastV, a versatile plug-and-play method designed to optimize computational efficiency by learning adaptive attention patterns in early layers and pruning visual tokens in subsequent ones. Our evaluations demonstrate FastV's ability to dramatically reduce computational costs (e.g., a 45 reduction in FLOPs for LLaVA-1.5-13B) without sacrificing performance in a wide range of image and video understanding tasks. The computational efficiency and performance trade-off of FastV are highly customizable and pareto-efficient. It can compress the FLOPs of a 13B-parameter model to achieve a lower budget than that of a 7B-parameter model, while still maintaining superior performance. We believe FastV has practical values for deployment of LVLMs in edge devices and commercial models. Code is released at https://github.com/pkunlp-icler/FastV.