ShortV : Modèles de langage multimodaux efficaces grâce au gel des tokens visuels dans les couches inefficaces

ShortV: Efficient Multimodal Large Language Models by Freezing Visual Tokens in Ineffective Layers

April 1, 2025

Auteurs: Qianhao Yuan, Qingyu Zhang, Yanjiang Liu, Jiawei Chen, Yaojie Lu, Hongyu Lin, Jia Zheng, Xianpei Han, Le Sun

cs.AI

Résumé

Les modèles de langage multimodaux de grande taille (MLLMs) souffrent de coûts de calcul élevés en raison de leur taille massive et du grand nombre de tokens visuels. Dans cet article, nous étudions la redondance couche par couche dans les MLLMs en introduisant une nouvelle métrique, la Contribution de Couche (LC), qui quantifie l'impact des transformations d'une couche sur les tokens visuels et textuels, respectivement. Le calcul de la LC implique de mesurer la divergence dans la sortie du modèle résultant de la suppression des transformations de la couche sur les tokens spécifiés. Notre expérience pilote révèle que de nombreuses couches des MLLMs présentent une contribution minimale lors du traitement des tokens visuels. Motivés par cette observation, nous proposons ShortV, une méthode sans entraînement qui exploite la LC pour identifier les couches inefficaces et gèle les mises à jour des tokens visuels dans ces couches. Les expériences montrent que ShortV peut geler les tokens visuels dans environ 60 % des couches des MLLMs, réduisant ainsi considérablement les coûts de calcul liés à la mise à jour des tokens visuels. Par exemple, il permet une réduction de 50 % des FLOPs sur LLaVA-NeXT-13B tout en maintenant des performances supérieures. Le code sera rendu public à l'adresse suivante : https://github.com/icip-cas/ShortV.

English

Multimodal Large Language Models (MLLMs) suffer from high computational costs due to their massive size and the large number of visual tokens. In this paper, we investigate layer-wise redundancy in MLLMs by introducing a novel metric, Layer Contribution (LC), which quantifies the impact of a layer's transformations on visual and text tokens, respectively. The calculation of LC involves measuring the divergence in model output that results from removing the layer's transformations on the specified tokens. Our pilot experiment reveals that many layers of MLLMs exhibit minimal contribution during the processing of visual tokens. Motivated by this observation, we propose ShortV, a training-free method that leverages LC to identify ineffective layers, and freezes visual token updates in these layers. Experiments show that ShortV can freeze visual token in approximately 60\% of the MLLM layers, thereby dramatically reducing computational costs related to updating visual tokens. For example, it achieves a 50\% reduction in FLOPs on LLaVA-NeXT-13B while maintaining superior performance. The code will be publicly available at https://github.com/icip-cas/ShortV