小型言語モデルと強化された視覚語彙の融合

要旨

2023年、大規模視覚言語モデル（LVLM）を扱うことはAIコミュニティでトレンドとなっています。しかし、人気のあるLVLMはパラメータ数が比較的多く（7B以上）、コンシューマー向けGPUでの学習やデプロイが困難であり、リソースが限られた多くの研究者にとって障壁となっています。古いGTX1080ti（私たちの唯一のゲーム用GPU）で現在のLVLMのすべての機能を体験できたらどれほど素晴らしいだろうか。そこで本報告では、Qwen-1.8Bをベースとした小型のVary、Vary-toyを提案します。Vary-toyでは、改良された視覚語彙を導入し、モデルがVaryのすべての機能を保持するだけでなく、より汎用的な能力を獲得できるようにしました。具体的には、視覚語彙を生成するプロセスにおいて、自然画像のネガティブサンプルを物体検出によって得られたポジティブサンプルデータに置き換えることで、語彙ネットワークの容量をより十分に活用し、自然物体に対応する視覚情報を効率的にエンコードできるようにしました。実験では、Vary-toyはDocVQAで65.6%のANLS、ChartQAで59.1%の精度、RefCOCOで88.1%の精度、MMVetで29%の精度を達成しました。コードはホームページで公開予定です。

English

Playing Large Vision Language Models (LVLMs) in 2023 is trendy among the AI community. However, the relatively large number of parameters (more than 7B) of popular LVLMs makes it difficult to train and deploy on consumer GPUs, discouraging many researchers with limited resources. Imagine how cool it would be to experience all the features of current LVLMs on an old GTX1080ti (our only game card). Accordingly, we present Vary-toy in this report, a small-size Vary along with Qwen-1.8B as the base ``large'' language model. In Vary-toy, we introduce an improved vision vocabulary, allowing the model to not only possess all features of Vary but also gather more generality. Specifically, we replace negative samples of natural images with positive sample data driven by object detection in the procedure of generating vision vocabulary, more sufficiently utilizing the capacity of the vocabulary network and enabling it to efficiently encode visual information corresponding to natural objects. For experiments, Vary-toy can achieve 65.6% ANLS on DocVQA, 59.1% accuracy on ChartQA, 88.1% accuracy on RefCOCO, and 29% on MMVet. The code will be publicly available on the homepage.

小型言語モデルと強化された視覚語彙の融合

Small Language Model Meets with Reinforced Vision Vocabulary

要旨

Support