VisionZip: Langer is beter maar niet noodzakelijk in visie-taalmodellen

VisionZip: Longer is Better but Not Necessary in Vision Language Models

December 5, 2024

Auteurs: Senqiao Yang, Yukang Chen, Zhuotao Tian, Chengyao Wang, Jingyao Li, Bei Yu, Jiaya Jia

cs.AI

Samenvatting

Recente ontwikkelingen in visie-taalmodellen hebben de prestaties verbeterd door de lengte van visuele tokens te vergroten, waardoor ze veel langer zijn dan teksttokens en aanzienlijk hogere computationele kosten met zich meebrengen. We merken echter op dat de visuele tokens gegenereerd door populaire visuele encoders, zoals CLIP en SigLIP, aanzienlijke redundantie bevatten. Om dit aan te pakken, introduceren we VisionZip, een eenvoudige maar effectieve methode die een set informatieve tokens selecteert voor invoer naar het taalmodel, waardoor de visuele token redundantie wordt verminderd en de efficiëntie wordt verbeterd terwijl de modelprestaties behouden blijven. Het voorgestelde VisionZip kan breed worden toegepast op beeld- en video-begripstaken en is goed geschikt voor multi-turn dialogen in realistische scenario's, waar eerdere methoden ondermaats presteren. Experimentele resultaten tonen aan dat VisionZip de vorige state-of-the-art methode overtreft met minstens 5% prestatiewinst in bijna alle instellingen. Bovendien verbetert onze methode aanzienlijk de modelinferentiesnelheid, waardoor de prefilling-tijd met 8x wordt verbeterd en waardoor het LLaVA-Next 13B-model sneller kan afleiden dan het LLaVA-Next 7B-model terwijl betere resultaten worden behaald. Verder analyseren we de oorzaken van deze redundantie en moedigen we de gemeenschap aan om zich te richten op het extraheren van betere visuele kenmerken in plaats van simpelweg de tokenlengte te vergroten. Onze code is beschikbaar op https://github.com/dvlab-research/VisionZip.

English

Recent advancements in vision-language models have enhanced performance by increasing the length of visual tokens, making them much longer than text tokens and significantly raising computational costs. However, we observe that the visual tokens generated by popular vision encoders, such as CLIP and SigLIP, contain significant redundancy. To address this, we introduce VisionZip, a simple yet effective method that selects a set of informative tokens for input to the language model, reducing visual token redundancy and improving efficiency while maintaining model performance. The proposed VisionZip can be widely applied to image and video understanding tasks and is well-suited for multi-turn dialogues in real-world scenarios, where previous methods tend to underperform. Experimental results show that VisionZip outperforms the previous state-of-the-art method by at least 5% performance gains across nearly all settings. Moreover, our method significantly enhances model inference speed, improving the prefilling time by 8x and enabling the LLaVA-Next 13B model to infer faster than the LLaVA-Next 7B model while achieving better results. Furthermore, we analyze the causes of this redundancy and encourage the community to focus on extracting better visual features rather than merely increasing token length. Our code is available at https://github.com/dvlab-research/VisionZip .