ShortV: Эффективные мультимодальные большие языковые модели за счет заморозки визуальных токенов в неэффективных слоях

ShortV: Efficient Multimodal Large Language Models by Freezing Visual Tokens in Ineffective Layers

April 1, 2025

Авторы: Qianhao Yuan, Qingyu Zhang, Yanjiang Liu, Jiawei Chen, Yaojie Lu, Hongyu Lin, Jia Zheng, Xianpei Han, Le Sun

cs.AI

Аннотация

Мультимодальные большие языковые модели (MLLMs) сталкиваются с высокими вычислительными затратами из-за их огромного размера и большого количества визуальных токенов. В данной статье мы исследуем избыточность на уровне слоев в MLLMs, вводя новый метрический показатель — Вклад Слоя (Layer Contribution, LC), который количественно оценивает влияние преобразований слоя на визуальные и текстовые токены соответственно. Расчет LC включает измерение расхождения в выходных данных модели, возникающего при удалении преобразований слоя для указанных токенов. Наш пилотный эксперимент показывает, что многие слои MLLMs вносят минимальный вклад при обработке визуальных токенов. Вдохновленные этим наблюдением, мы предлагаем ShortV — метод, не требующий обучения, который использует LC для выявления неэффективных слоев и замораживает обновления визуальных токенов в этих слоях. Эксперименты демонстрируют, что ShortV может заморозить визуальные токены примерно в 60\% слоев MLLM, что значительно снижает вычислительные затраты, связанные с обновлением визуальных токенов. Например, метод достигает 50\% сокращения FLOPs на модели LLaVA-NeXT-13B при сохранении превосходной производительности. Код будет общедоступен по адресу https://github.com/icip-cas/ShortV.

English

Multimodal Large Language Models (MLLMs) suffer from high computational costs due to their massive size and the large number of visual tokens. In this paper, we investigate layer-wise redundancy in MLLMs by introducing a novel metric, Layer Contribution (LC), which quantifies the impact of a layer's transformations on visual and text tokens, respectively. The calculation of LC involves measuring the divergence in model output that results from removing the layer's transformations on the specified tokens. Our pilot experiment reveals that many layers of MLLMs exhibit minimal contribution during the processing of visual tokens. Motivated by this observation, we propose ShortV, a training-free method that leverages LC to identify ineffective layers, and freezes visual token updates in these layers. Experiments show that ShortV can freeze visual token in approximately 60\% of the MLLM layers, thereby dramatically reducing computational costs related to updating visual tokens. For example, it achieves a 50\% reduction in FLOPs on LLaVA-NeXT-13B while maintaining superior performance. The code will be publicly available at https://github.com/icip-cas/ShortV