VisionZip: Langer is beter maar niet noodzakelijk in visie-taalmodellen
VisionZip: Longer is Better but Not Necessary in Vision Language Models
December 5, 2024
Auteurs: Senqiao Yang, Yukang Chen, Zhuotao Tian, Chengyao Wang, Jingyao Li, Bei Yu, Jiaya Jia
cs.AI
Samenvatting
Recente ontwikkelingen in visie-taalmodellen hebben de prestaties verbeterd door de lengte van visuele tokens te vergroten, waardoor ze veel langer zijn dan teksttokens en aanzienlijk hogere computationele kosten met zich meebrengen. We merken echter op dat de visuele tokens gegenereerd door populaire visuele encoders, zoals CLIP en SigLIP, aanzienlijke redundantie bevatten. Om dit aan te pakken, introduceren we VisionZip, een eenvoudige maar effectieve methode die een set informatieve tokens selecteert voor invoer naar het taalmodel, waardoor de visuele token redundantie wordt verminderd en de efficiëntie wordt verbeterd terwijl de modelprestaties behouden blijven. Het voorgestelde VisionZip kan breed worden toegepast op beeld- en video-begripstaken en is goed geschikt voor multi-turn dialogen in realistische scenario's, waar eerdere methoden ondermaats presteren. Experimentele resultaten tonen aan dat VisionZip de vorige state-of-the-art methode overtreft met minstens 5% prestatiewinst in bijna alle instellingen. Bovendien verbetert onze methode aanzienlijk de modelinferentiesnelheid, waardoor de prefilling-tijd met 8x wordt verbeterd en waardoor het LLaVA-Next 13B-model sneller kan afleiden dan het LLaVA-Next 7B-model terwijl betere resultaten worden behaald. Verder analyseren we de oorzaken van deze redundantie en moedigen we de gemeenschap aan om zich te richten op het extraheren van betere visuele kenmerken in plaats van simpelweg de tokenlengte te vergroten. Onze code is beschikbaar op https://github.com/dvlab-research/VisionZip.
English
Recent advancements in vision-language models have enhanced performance by
increasing the length of visual tokens, making them much longer than text
tokens and significantly raising computational costs. However, we observe that
the visual tokens generated by popular vision encoders, such as CLIP and
SigLIP, contain significant redundancy. To address this, we introduce
VisionZip, a simple yet effective method that selects a set of informative
tokens for input to the language model, reducing visual token redundancy and
improving efficiency while maintaining model performance. The proposed
VisionZip can be widely applied to image and video understanding tasks and is
well-suited for multi-turn dialogues in real-world scenarios, where previous
methods tend to underperform. Experimental results show that VisionZip
outperforms the previous state-of-the-art method by at least 5% performance
gains across nearly all settings. Moreover, our method significantly enhances
model inference speed, improving the prefilling time by 8x and enabling the
LLaVA-Next 13B model to infer faster than the LLaVA-Next 7B model while
achieving better results. Furthermore, we analyze the causes of this redundancy
and encourage the community to focus on extracting better visual features
rather than merely increasing token length. Our code is available at
https://github.com/dvlab-research/VisionZip .