Маленькая языковая модель встречается с усиленным визуальным словарем

Small Language Model Meets with Reinforced Vision Vocabulary

January 23, 2024

Авторы: Haoran Wei, Lingyu Kong, Jinyue Chen, Liang Zhao, Zheng Ge, En Yu, Jianjian Sun, Chunrui Han, Xiangyu Zhang

cs.AI

Аннотация

В 2023 году работа с крупными визуально-языковыми моделями (LVLMs) стала популярной в сообществе ИИ. Однако относительно большое количество параметров (более 7 миллиардов) у популярных LVLMs затрудняет их обучение и развертывание на потребительских GPU, что отпугивает многих исследователей с ограниченными ресурсами. Представьте, как круто было бы испытать все возможности современных LVLMs на старой GTX 1080ti (нашей единственной игровой видеокарте). В связи с этим мы представляем в этом отчете Vary-toy — компактную версию Vary, основанную на языковой модели Qwen-1.8B. В Vary-toy мы внедряем улучшенный визуальный словарь, который не только сохраняет все функции Vary, но и повышает обобщающую способность модели. В частности, мы заменяем негативные примеры натуральных изображений на позитивные данные, полученные с помощью детекции объектов, в процессе создания визуального словаря. Это позволяет более эффективно использовать возможности словарной сети и обеспечивает эффективное кодирование визуальной информации, соответствующей натуральным объектам. В экспериментах Vary-toy демонстрирует 65,6% ANLS на DocVQA, 59,1% точности на ChartQA, 88,1% точности на RefCOCO и 29% на MMVet. Код будет общедоступен на нашей странице.

English

Playing Large Vision Language Models (LVLMs) in 2023 is trendy among the AI community. However, the relatively large number of parameters (more than 7B) of popular LVLMs makes it difficult to train and deploy on consumer GPUs, discouraging many researchers with limited resources. Imagine how cool it would be to experience all the features of current LVLMs on an old GTX1080ti (our only game card). Accordingly, we present Vary-toy in this report, a small-size Vary along with Qwen-1.8B as the base ``large'' language model. In Vary-toy, we introduce an improved vision vocabulary, allowing the model to not only possess all features of Vary but also gather more generality. Specifically, we replace negative samples of natural images with positive sample data driven by object detection in the procedure of generating vision vocabulary, more sufficiently utilizing the capacity of the vocabulary network and enabling it to efficiently encode visual information corresponding to natural objects. For experiments, Vary-toy can achieve 65.6% ANLS on DocVQA, 59.1% accuracy on ChartQA, 88.1% accuracy on RefCOCO, and 29% on MMVet. The code will be publicly available on the homepage.