ShortV: Modelli Linguistici Multimodali di Grande Dimensione Efficienti tramite il Blocco dei Token Visivi negli Strati Inefficaci

ShortV: Efficient Multimodal Large Language Models by Freezing Visual Tokens in Ineffective Layers

April 1, 2025

Autori: Qianhao Yuan, Qingyu Zhang, Yanjiang Liu, Jiawei Chen, Yaojie Lu, Hongyu Lin, Jia Zheng, Xianpei Han, Le Sun

cs.AI

Abstract

I Modelli Linguistici Multimodali di Grandi Dimensioni (MLLMs) soffrono di elevati costi computazionali a causa delle loro dimensioni massicce e del gran numero di token visivi. In questo articolo, indaghiamo la ridondanza strato per strato negli MLLM introducendo una nuova metrica, il Contributo dello Strato (LC), che quantifica l'impatto delle trasformazioni di uno strato sui token visivi e testuali, rispettivamente. Il calcolo di LC implica la misurazione della divergenza nell'output del modello che risulta dalla rimozione delle trasformazioni dello strato sui token specificati. Il nostro esperimento pilota rivela che molti strati degli MLLM mostrano un contributo minimo durante l'elaborazione dei token visivi. Motivati da questa osservazione, proponiamo ShortV, un metodo senza addestramento che sfrutta LC per identificare gli strati inefficaci e congela gli aggiornamenti dei token visivi in questi strati. Gli esperimenti dimostrano che ShortV può congelare i token visivi in circa il 60\% degli strati degli MLLM, riducendo così drasticamente i costi computazionali legati all'aggiornamento dei token visivi. Ad esempio, ottiene una riduzione del 50\% delle FLOP su LLaVA-NeXT-13B mantenendo prestazioni superiori. Il codice sarà disponibile pubblicamente all'indirizzo https://github.com/icip-cas/ShortV.

English

Multimodal Large Language Models (MLLMs) suffer from high computational costs due to their massive size and the large number of visual tokens. In this paper, we investigate layer-wise redundancy in MLLMs by introducing a novel metric, Layer Contribution (LC), which quantifies the impact of a layer's transformations on visual and text tokens, respectively. The calculation of LC involves measuring the divergence in model output that results from removing the layer's transformations on the specified tokens. Our pilot experiment reveals that many layers of MLLMs exhibit minimal contribution during the processing of visual tokens. Motivated by this observation, we propose ShortV, a training-free method that leverages LC to identify ineffective layers, and freezes visual token updates in these layers. Experiments show that ShortV can freeze visual token in approximately 60\% of the MLLM layers, thereby dramatically reducing computational costs related to updating visual tokens. For example, it achieves a 50\% reduction in FLOPs on LLaVA-NeXT-13B while maintaining superior performance. The code will be publicly available at https://github.com/icip-cas/ShortV