Klein Taalmodel Ontmoet Versterkte Visuele Vocabulaire

Small Language Model Meets with Reinforced Vision Vocabulary

January 23, 2024

Auteurs: Haoran Wei, Lingyu Kong, Jinyue Chen, Liang Zhao, Zheng Ge, En Yu, Jianjian Sun, Chunrui Han, Xiangyu Zhang

cs.AI

Samenvatting

Het spelen met Large Vision Language Models (LVLMs) in 2023 is trendy binnen de AI-gemeenschap. Het relatief grote aantal parameters (meer dan 7B) van populaire LVLMs maakt het echter moeilijk om ze te trainen en te implementeren op consumenten-GPU's, wat veel onderzoekers met beperkte middelen ontmoedigt. Stel je voor hoe gaaf het zou zijn om alle functies van huidige LVLMs te ervaren op een oude GTX1080ti (onze enige gamekaart). Daarom presenteren we in dit rapport Vary-toy, een compacte versie van Vary samen met Qwen-1.8B als het basis "grote" taalmodel. In Vary-toy introduceren we een verbeterd visueel vocabulaire, waardoor het model niet alleen alle functies van Vary bezit, maar ook meer algemeenheid verkrijgt. Specifiek vervangen we negatieve voorbeelden van natuurlijke afbeeldingen door positieve voorbeeldgegevens die worden aangedreven door objectdetectie in het proces van het genereren van visueel vocabulaire, waardoor de capaciteit van het vocabulairenetwerk beter wordt benut en het in staat wordt gesteld om visuele informatie die overeenkomt met natuurlijke objecten efficiënt te coderen. In experimenten kan Vary-toy 65,6% ANLS behalen op DocVQA, 59,1% nauwkeurigheid op ChartQA, 88,1% nauwkeurigheid op RefCOCO en 29% op MMVet. De code zal openbaar beschikbaar zijn op de homepage.

English

Playing Large Vision Language Models (LVLMs) in 2023 is trendy among the AI community. However, the relatively large number of parameters (more than 7B) of popular LVLMs makes it difficult to train and deploy on consumer GPUs, discouraging many researchers with limited resources. Imagine how cool it would be to experience all the features of current LVLMs on an old GTX1080ti (our only game card). Accordingly, we present Vary-toy in this report, a small-size Vary along with Qwen-1.8B as the base ``large'' language model. In Vary-toy, we introduce an improved vision vocabulary, allowing the model to not only possess all features of Vary but also gather more generality. Specifically, we replace negative samples of natural images with positive sample data driven by object detection in the procedure of generating vision vocabulary, more sufficiently utilizing the capacity of the vocabulary network and enabling it to efficiently encode visual information corresponding to natural objects. For experiments, Vary-toy can achieve 65.6% ANLS on DocVQA, 59.1% accuracy on ChartQA, 88.1% accuracy on RefCOCO, and 29% on MMVet. The code will be publicly available on the homepage.