ShortV: 비효율적인 레이어에서 시각 토큰을 고정하여 효율적인 멀티모달 대형 언어 모델 구현

초록

멀티모달 대형 언어 모델(MLLMs)은 그 거대한 규모와 방대한 시각 토큰 수로 인해 높은 계산 비용을 겪고 있습니다. 본 논문에서는 계층별 중복성을 조사하기 위해 새로운 지표인 계층 기여도(Layer Contribution, LC)를 도입합니다. LC는 특정 계층의 변환이 시각 및 텍스트 토큰에 미치는 영향을 각각 정량화합니다. LC 계산은 해당 계층의 변환을 제거했을 때 모델 출력에서 발생하는 차이를 측정하는 것을 포함합니다. 우리의 파일럿 실험은 MLLMs의 많은 계층들이 시각 토큰 처리 과정에서 최소한의 기여만을 보인다는 것을 밝혀냈습니다. 이러한 관찰에 기반하여, 우리는 LC를 활용하여 비효율적인 계층을 식별하고 이러한 계층에서 시각 토큰 업데이트를 동결하는 훈련이 필요 없는 방법인 ShortV를 제안합니다. 실험 결과, ShortV는 MLLM 계층의 약 60%에서 시각 토큰 업데이트를 동결함으로써 시각 토큰 업데이트와 관련된 계산 비용을 극적으로 줄일 수 있음을 보여줍니다. 예를 들어, LLaVA-NeXT-13B에서 FLOPs를 50% 감소시키면서도 우수한 성능을 유지합니다. 코드는 https://github.com/icip-cas/ShortV에서 공개될 예정입니다.

English

Multimodal Large Language Models (MLLMs) suffer from high computational costs due to their massive size and the large number of visual tokens. In this paper, we investigate layer-wise redundancy in MLLMs by introducing a novel metric, Layer Contribution (LC), which quantifies the impact of a layer's transformations on visual and text tokens, respectively. The calculation of LC involves measuring the divergence in model output that results from removing the layer's transformations on the specified tokens. Our pilot experiment reveals that many layers of MLLMs exhibit minimal contribution during the processing of visual tokens. Motivated by this observation, we propose ShortV, a training-free method that leverages LC to identify ineffective layers, and freezes visual token updates in these layers. Experiments show that ShortV can freeze visual token in approximately 60\% of the MLLM layers, thereby dramatically reducing computational costs related to updating visual tokens. For example, it achieves a 50\% reduction in FLOPs on LLaVA-NeXT-13B while maintaining superior performance. The code will be publicly available at https://github.com/icip-cas/ShortV

ShortV: 비효율적인 레이어에서 시각 토큰을 고정하여 효율적인 멀티모달 대형 언어 모델 구현

ShortV: Efficient Multimodal Large Language Models by Freezing Visual Tokens in Ineffective Layers

초록

Summary

Support

Support