Piccolo Modello Linguistico Incontra il Vocabolario Visivo Rinforzato

Abstract

Nel 2023, utilizzare grandi modelli di linguaggio visivo (LVLM) è diventato di tendenza nella comunità dell'IA. Tuttavia, il numero relativamente elevato di parametri (più di 7 miliardi) dei LVLM più popolari rende difficile l'addestramento e il deployment su GPU consumer, scoraggiando molti ricercatori con risorse limitate. Immaginate quanto sarebbe bello sperimentare tutte le funzionalità degli attuali LVLM su una vecchia GTX1080ti (la nostra unica scheda grafica). Di conseguenza, presentiamo in questo report Vary-toy, una versione ridotta di Vary insieme a Qwen-1.8B come modello di linguaggio "grande" di base. In Vary-toy, introduciamo un vocabolario visivo migliorato, che consente al modello non solo di possedere tutte le caratteristiche di Vary, ma anche di acquisire una maggiore generalità. Nello specifico, sostituiamo i campioni negativi di immagini naturali con dati di campioni positivi guidati dal rilevamento di oggetti nel processo di generazione del vocabolario visivo, sfruttando più efficacemente la capacità della rete del vocabolario e permettendole di codificare in modo efficiente le informazioni visive corrispondenti a oggetti naturali. Negli esperimenti, Vary-toy riesce a raggiungere il 65,6% di ANLS su DocVQA, il 59,1% di accuratezza su ChartQA, l'88,1% di accuratezza su RefCOCO e il 29% su MMVet. Il codice sarà reso disponibile pubblicamente sulla homepage.

English

Playing Large Vision Language Models (LVLMs) in 2023 is trendy among the AI community. However, the relatively large number of parameters (more than 7B) of popular LVLMs makes it difficult to train and deploy on consumer GPUs, discouraging many researchers with limited resources. Imagine how cool it would be to experience all the features of current LVLMs on an old GTX1080ti (our only game card). Accordingly, we present Vary-toy in this report, a small-size Vary along with Qwen-1.8B as the base ``large'' language model. In Vary-toy, we introduce an improved vision vocabulary, allowing the model to not only possess all features of Vary but also gather more generality. Specifically, we replace negative samples of natural images with positive sample data driven by object detection in the procedure of generating vision vocabulary, more sufficiently utilizing the capacity of the vocabulary network and enabling it to efficiently encode visual information corresponding to natural objects. For experiments, Vary-toy can achieve 65.6% ANLS on DocVQA, 59.1% accuracy on ChartQA, 88.1% accuracy on RefCOCO, and 29% on MMVet. The code will be publicly available on the homepage.

Piccolo Modello Linguistico Incontra il Vocabolario Visivo Rinforzato

Small Language Model Meets with Reinforced Vision Vocabulary

Abstract

Support