VLsI : De la verbalisation des couches aux interactions des grands aux petits modèles de langage vision.

VLsI: Verbalized Layers-to-Interactions from Large to Small Vision Language Models

December 2, 2024

Auteurs: Byung-Kwan Lee, Ryo Hachiuma, Yu-Chiang Frank Wang, Yong Man Ro, Yueh-Hua Wu

cs.AI

Résumé

La récente vague d'échantillons d'accord visuel de haute qualité provenant de modèles vision-langage à code source fermé (VLM) tels que GPT-4V a accéléré la publication de VLM à code source ouvert de différentes tailles de modèle. Cependant, l'augmentation de la taille des VLM pour améliorer les performances pose des défis computationnels importants, notamment pour le déploiement sur des appareils aux ressources limitées tels que les plateformes mobiles et les robots. Pour remédier à cela, nous proposons VLsI : Verbalized Layers-to-Interactions, une nouvelle famille de VLM de tailles de modèle 2B et 7B, qui privilégie l'efficacité sans compromettre la précision. VLsI exploite un processus de distillation unique par couche, introduisant des "verbaliseurs" intermédiaires qui cartographient les caractéristiques de chaque couche dans l'espace de langage naturel, permettant aux petits VLM de s'aligner de manière flexible sur les processus de raisonnement des grands VLM. Cette approche atténue l'instabilité d'entraînement souvent rencontrée dans l'imitation de sortie et va au-delà de l'accord habituel de la couche finale en alignant la progression par couche des petits VLM sur celle des grands. Nous validons VLsI sur dix benchmarks vision-langage difficiles, obtenant des gains de performance notables (11,0 % pour 2B et 17,4 % pour 7B) par rapport à GPT-4V sans nécessiter de mise à l'échelle, fusion ou modifications architecturales du modèle.

English

The recent surge in high-quality visual instruction tuning samples from closed-source vision-language models (VLMs) such as GPT-4V has accelerated the release of open-source VLMs across various model sizes. However, scaling VLMs to improve performance using larger models brings significant computational challenges, especially for deployment on resource-constrained devices like mobile platforms and robots. To address this, we propose VLsI: Verbalized Layers-to-Interactions, a new VLM family in 2B and 7B model sizes, which prioritizes efficiency without compromising accuracy. VLsI leverages a unique, layer-wise distillation process, introducing intermediate "verbalizers" that map features from each layer to natural language space, allowing smaller VLMs to flexibly align with the reasoning processes of larger VLMs. This approach mitigates the training instability often encountered in output imitation and goes beyond typical final-layer tuning by aligning the small VLMs' layer-wise progression with that of the large ones. We validate VLsI across ten challenging vision-language benchmarks, achieving notable performance gains (11.0% for 2B and 17.4% for 7B) over GPT-4V without the need for model scaling, merging, or architectural changes.