VisionZip: Mais Longo é Melhor, mas Não Necessário em Modelos de Linguagem Visual

VisionZip: Longer is Better but Not Necessary in Vision Language Models

December 5, 2024

Autores: Senqiao Yang, Yukang Chen, Zhuotao Tian, Chengyao Wang, Jingyao Li, Bei Yu, Jiaya Jia

cs.AI

Resumo

Os avanços recentes em modelos de visão-linguagem têm aprimorado o desempenho ao aumentar o comprimento dos tokens visuais, tornando-os muito mais longos do que os tokens de texto e aumentando significativamente os custos computacionais. No entanto, observamos que os tokens visuais gerados por codificadores de visão populares, como CLIP e SigLIP, contêm uma redundância significativa. Para lidar com isso, introduzimos o VisionZip, um método simples, porém eficaz, que seleciona um conjunto de tokens informativos para entrada no modelo de linguagem, reduzindo a redundância dos tokens visuais e melhorando a eficiência, mantendo o desempenho do modelo. O VisionZip proposto pode ser amplamente aplicado a tarefas de compreensão de imagens e vídeos e é adequado para diálogos de várias rodadas em cenários do mundo real, onde métodos anteriores tendem a ter desempenho inferior. Resultados experimentais mostram que o VisionZip supera o método anterior de última geração em pelo menos 5% de ganhos de desempenho em quase todas as configurações. Além disso, nosso método melhora significativamente a velocidade de inferência do modelo, reduzindo o tempo de preenchimento em 8 vezes e permitindo que o modelo LLaVA-Next 13B infira mais rápido do que o modelo LLaVA-Next 7B, alcançando melhores resultados. Além disso, analisamos as causas dessa redundância e incentivamos a comunidade a focar em extrair melhores características visuais em vez de simplesmente aumentar o comprimento dos tokens. Nosso código está disponível em https://github.com/dvlab-research/VisionZip.

English

Recent advancements in vision-language models have enhanced performance by increasing the length of visual tokens, making them much longer than text tokens and significantly raising computational costs. However, we observe that the visual tokens generated by popular vision encoders, such as CLIP and SigLIP, contain significant redundancy. To address this, we introduce VisionZip, a simple yet effective method that selects a set of informative tokens for input to the language model, reducing visual token redundancy and improving efficiency while maintaining model performance. The proposed VisionZip can be widely applied to image and video understanding tasks and is well-suited for multi-turn dialogues in real-world scenarios, where previous methods tend to underperform. Experimental results show that VisionZip outperforms the previous state-of-the-art method by at least 5% performance gains across nearly all settings. Moreover, our method significantly enhances model inference speed, improving the prefilling time by 8x and enabling the LLaVA-Next 13B model to infer faster than the LLaVA-Next 7B model while achieving better results. Furthermore, we analyze the causes of this redundancy and encourage the community to focus on extracting better visual features rather than merely increasing token length. Our code is available at https://github.com/dvlab-research/VisionZip .