VisionZip: Чем длиннее, тем лучше, но необязательно в моделях видеоязыкового восприятия.

VisionZip: Longer is Better but Not Necessary in Vision Language Models

December 5, 2024

Авторы: Senqiao Yang, Yukang Chen, Zhuotao Tian, Chengyao Wang, Jingyao Li, Bei Yu, Jiaya Jia

cs.AI

Аннотация

Недавние достижения в моделях видео-языка улучшили производительность за счёт увеличения длины визуальных токенов, делая их значительно длиннее текстовых токенов и существенно увеличивая вычислительные затраты. Однако мы наблюдаем, что визуальные токены, сгенерированные популярными визуальными кодировщиками, такими как CLIP и SigLIP, содержат значительную избыточность. Для решения этой проблемы мы представляем VisionZip, простой, но эффективный метод, который выбирает набор информативных токенов для ввода в языковую модель, уменьшая избыточность визуальных токенов и повышая эффективность при сохранении производительности модели. Предложенный VisionZip может быть широко применен к задачам понимания изображений и видео и хорошо подходит для многоразовых диалогов в реальных сценариях, где предыдущие методы часто показывают низкую производительность. Экспериментальные результаты показывают, что VisionZip превосходит предыдущий метод, признанный лучшим в данной области, как минимум на 5% во всех настройках. Более того, наш метод значительно увеличивает скорость вывода модели, улучшая время предварительной обработки в 8 раз и позволяя модели LLaVA-Next 13B выводить результаты быстрее, чем модель LLaVA-Next 7B, при этом достигая лучших результатов. Кроме того, мы анализируем причины этой избыточности и призываем сообщество сосредоточиться на извлечении лучших визуальных признаков, а не просто увеличивать длину токенов. Наш код доступен по ссылке https://github.com/dvlab-research/VisionZip.

English

Recent advancements in vision-language models have enhanced performance by increasing the length of visual tokens, making them much longer than text tokens and significantly raising computational costs. However, we observe that the visual tokens generated by popular vision encoders, such as CLIP and SigLIP, contain significant redundancy. To address this, we introduce VisionZip, a simple yet effective method that selects a set of informative tokens for input to the language model, reducing visual token redundancy and improving efficiency while maintaining model performance. The proposed VisionZip can be widely applied to image and video understanding tasks and is well-suited for multi-turn dialogues in real-world scenarios, where previous methods tend to underperform. Experimental results show that VisionZip outperforms the previous state-of-the-art method by at least 5% performance gains across nearly all settings. Moreover, our method significantly enhances model inference speed, improving the prefilling time by 8x and enabling the LLaVA-Next 13B model to infer faster than the LLaVA-Next 7B model while achieving better results. Furthermore, we analyze the causes of this redundancy and encourage the community to focus on extracting better visual features rather than merely increasing token length. Our code is available at https://github.com/dvlab-research/VisionZip .