Petit Modèle de Langage Rencontre un Vocabulaire Visuel Renforcé

Small Language Model Meets with Reinforced Vision Vocabulary

January 23, 2024

Auteurs: Haoran Wei, Lingyu Kong, Jinyue Chen, Liang Zhao, Zheng Ge, En Yu, Jianjian Sun, Chunrui Han, Xiangyu Zhang

cs.AI

Résumé

L'utilisation des grands modèles de langage visuel (LVLMs) en 2023 est très en vogue dans la communauté de l'intelligence artificielle. Cependant, le nombre relativement élevé de paramètres (plus de 7 milliards) des LVLMs populaires rend leur entraînement et leur déploiement difficiles sur les GPU grand public, décourageant de nombreux chercheurs disposant de ressources limitées. Imaginez à quel point il serait impressionnant de pouvoir expérimenter toutes les fonctionnalités des LVLMs actuels sur une ancienne GTX 1080 Ti (notre seule carte graphique). Par conséquent, nous présentons dans ce rapport Vary-toy, une version réduite de Vary utilisant Qwen-1.8B comme modèle de langage de base « grand ». Dans Vary-toy, nous introduisons un vocabulaire visuel amélioré, permettant au modèle non seulement de posséder toutes les fonctionnalités de Vary, mais aussi d'acquérir une plus grande généralité. Plus précisément, nous remplaçons les échantillons négatifs d'images naturelles par des données d'échantillons positifs guidées par la détection d'objets dans le processus de génération du vocabulaire visuel, exploitant ainsi plus efficacement la capacité du réseau de vocabulaire et lui permettant d'encoder de manière efficiente les informations visuelles correspondant aux objets naturels. Pour les expériences, Vary-toy atteint 65,6 % d'ANLS sur DocVQA, 59,1 % de précision sur ChartQA, 88,1 % de précision sur RefCOCO et 29 % sur MMVet. Le code sera rendu public sur la page d'accueil.

English

Playing Large Vision Language Models (LVLMs) in 2023 is trendy among the AI community. However, the relatively large number of parameters (more than 7B) of popular LVLMs makes it difficult to train and deploy on consumer GPUs, discouraging many researchers with limited resources. Imagine how cool it would be to experience all the features of current LVLMs on an old GTX1080ti (our only game card). Accordingly, we present Vary-toy in this report, a small-size Vary along with Qwen-1.8B as the base ``large'' language model. In Vary-toy, we introduce an improved vision vocabulary, allowing the model to not only possess all features of Vary but also gather more generality. Specifically, we replace negative samples of natural images with positive sample data driven by object detection in the procedure of generating vision vocabulary, more sufficiently utilizing the capacity of the vocabulary network and enabling it to efficiently encode visual information corresponding to natural objects. For experiments, Vary-toy can achieve 65.6% ANLS on DocVQA, 59.1% accuracy on ChartQA, 88.1% accuracy on RefCOCO, and 29% on MMVet. The code will be publicly available on the homepage.