VisionZip: Más largo es mejor pero no es necesario en modelos de lenguaje visual.

VisionZip: Longer is Better but Not Necessary in Vision Language Models

December 5, 2024

Autores: Senqiao Yang, Yukang Chen, Zhuotao Tian, Chengyao Wang, Jingyao Li, Bei Yu, Jiaya Jia

cs.AI

Resumen

Los avances recientes en modelos de visión y lenguaje han mejorado el rendimiento al aumentar la longitud de los tokens visuales, haciéndolos mucho más largos que los tokens de texto y aumentando significativamente los costos computacionales. Sin embargo, observamos que los tokens visuales generados por codificadores de visión populares, como CLIP y SigLIP, contienen una redundancia significativa. Para abordar esto, presentamos VisionZip, un método simple pero efectivo que selecciona un conjunto de tokens informativos para la entrada al modelo de lenguaje, reduciendo la redundancia de los tokens visuales y mejorando la eficiencia sin comprometer el rendimiento del modelo. El VisionZip propuesto puede aplicarse ampliamente a tareas de comprensión de imágenes y videos, y es adecuado para diálogos de múltiples turnos en escenarios del mundo real, donde los métodos anteriores tienden a tener un rendimiento inferior. Los resultados experimentales muestran que VisionZip supera al método anterior de vanguardia en al menos un 5% de ganancias de rendimiento en casi todas las configuraciones. Además, nuestro método mejora significativamente la velocidad de inferencia del modelo, mejorando el tiempo de precarga en 8 veces y permitiendo que el modelo LLaVA-Next 13B infiera más rápido que el modelo LLaVA-Next 7B mientras logra mejores resultados. Además, analizamos las causas de esta redundancia y alentamos a la comunidad a centrarse en extraer mejores características visuales en lugar de simplemente aumentar la longitud de los tokens. Nuestro código está disponible en https://github.com/dvlab-research/VisionZip.

English

Recent advancements in vision-language models have enhanced performance by increasing the length of visual tokens, making them much longer than text tokens and significantly raising computational costs. However, we observe that the visual tokens generated by popular vision encoders, such as CLIP and SigLIP, contain significant redundancy. To address this, we introduce VisionZip, a simple yet effective method that selects a set of informative tokens for input to the language model, reducing visual token redundancy and improving efficiency while maintaining model performance. The proposed VisionZip can be widely applied to image and video understanding tasks and is well-suited for multi-turn dialogues in real-world scenarios, where previous methods tend to underperform. Experimental results show that VisionZip outperforms the previous state-of-the-art method by at least 5% performance gains across nearly all settings. Moreover, our method significantly enhances model inference speed, improving the prefilling time by 8x and enabling the LLaVA-Next 13B model to infer faster than the LLaVA-Next 7B model while achieving better results. Furthermore, we analyze the causes of this redundancy and encourage the community to focus on extracting better visual features rather than merely increasing token length. Our code is available at https://github.com/dvlab-research/VisionZip .