Kleines Sprachmodell trifft auf verstärktes visuelles Vokabular

Small Language Model Meets with Reinforced Vision Vocabulary

January 23, 2024

Autoren: Haoran Wei, Lingyu Kong, Jinyue Chen, Liang Zhao, Zheng Ge, En Yu, Jianjian Sun, Chunrui Han, Xiangyu Zhang

cs.AI

Zusammenfassung

Das Spielen mit großen visuellen Sprachmodellen (Large Vision Language Models, LVLMs) ist 2023 in der KI-Community sehr angesagt. Die relativ hohe Anzahl von Parametern (mehr als 7 Milliarden) bei populären LVLMs macht es jedoch schwierig, diese auf Consumer-GPUs zu trainieren und bereitzustellen, was viele Forscher mit begrenzten Ressourcen abschreckt. Stellen Sie sich vor, wie cool es wäre, alle Funktionen aktueller LVLMs auf einer alten GTX 1080 Ti (unserer einzigen Grafikkarte) zu erleben. Dementsprechend präsentieren wir in diesem Bericht Vary-toy, eine kompakte Version von Vary, zusammen mit Qwen-1.8B als Basismodell für das „große“ Sprachmodell. In Vary-toy führen wir ein verbessertes visuelles Vokabular ein, das es dem Modell ermöglicht, nicht nur alle Funktionen von Vary zu besitzen, sondern auch mehr Allgemeingültigkeit zu erlangen. Konkret ersetzen wir negative Beispiele natürlicher Bilder durch positive Beispieldaten, die durch Objekterkennung gesteuert werden, im Prozess der Generierung des visuellen Vokabulars. Dadurch wird die Kapazität des Vokabelnetzwerks besser genutzt, und es kann visuelle Informationen, die natürlichen Objekten entsprechen, effizient kodieren. In Experimenten erreicht Vary-toy 65,6 % ANLS auf DocVQA, 59,1 % Genauigkeit auf ChartQA, 88,1 % Genauigkeit auf RefCOCO und 29 % auf MMVet. Der Code wird auf der Homepage öffentlich verfügbar sein.

English

Playing Large Vision Language Models (LVLMs) in 2023 is trendy among the AI community. However, the relatively large number of parameters (more than 7B) of popular LVLMs makes it difficult to train and deploy on consumer GPUs, discouraging many researchers with limited resources. Imagine how cool it would be to experience all the features of current LVLMs on an old GTX1080ti (our only game card). Accordingly, we present Vary-toy in this report, a small-size Vary along with Qwen-1.8B as the base ``large'' language model. In Vary-toy, we introduce an improved vision vocabulary, allowing the model to not only possess all features of Vary but also gather more generality. Specifically, we replace negative samples of natural images with positive sample data driven by object detection in the procedure of generating vision vocabulary, more sufficiently utilizing the capacity of the vocabulary network and enabling it to efficiently encode visual information corresponding to natural objects. For experiments, Vary-toy can achieve 65.6% ANLS on DocVQA, 59.1% accuracy on ChartQA, 88.1% accuracy on RefCOCO, and 29% on MMVet. The code will be publicly available on the homepage.