Перечисление элементов по одному: новый источник данных и парадигма обучения для мультимодальных языковых моделей.

List Items One by One: A New Data Source and Learning Paradigm for Multimodal LLMs

April 25, 2024

Авторы: An Yan, Zhengyuan Yang, Junda Wu, Wanrong Zhu, Jianwei Yang, Linjie Li, Kevin Lin, Jianfeng Wang, Julian McAuley, Jianfeng Gao, Lijuan Wang

cs.AI

Аннотация

Применение набора маркеров (SoM) разблокирует возможность визуальной привязки модели GPT-4V, позволяя модели ассоциировать визуальные объекты с тегами, вставленными на изображение. Эти теги, помеченные алфавитно-цифровыми символами, могут быть проиндексированы с помощью текстовых токенов для удобной ссылки. Несмотря на выдающуюся производительность GPT-4V, мы наблюдаем, что другие мультимодальные модели языка больших размеров (MLLMs) испытывают затруднения в понимании этих визуальных тегов. Для продвижения обучения с помощью SoM для моделей с открытым исходным кодом мы предлагаем новую парадигму обучения: "перечисление элементов по одному", которая просит модель перечислить и описать все визуальные теги, размещенные на изображении в соответствии с алфавитным порядком тегов. Интегрируя наш подготовленный набор данных с другими наборами данных для настройки визуальных инструкций, мы можем оснастить существующие MLLMs способностью к использованию SoM. Кроме того, мы оцениваем наши донастроенные модели SoM на пяти бенчмарках MLLM. Мы обнаруживаем, что этот новый набор данных, даже при относительно небольшом размере (10k-30k изображений с тегами), значительно улучшает возможности визуального рассуждения и снижает галлюцинации для MLLMs. Возможно, удивительно, что эти улучшения сохраняются даже тогда, когда визуальные теги отсутствуют на входных изображениях во время вывода. Это указывает на потенциал "перечисления элементов по одному" как новой парадигмы для обучения MLLMs, которая укрепляет соответствие объекта и текста с помощью использования визуальных тегов на этапе обучения. Наконец, мы проводим анализы, исследуя обученные модели для понимания механизма работы SoM. Наш код и данные доступны по адресу https://github.com/zzxslp/SoM-LLaVA.

English

Set-of-Mark (SoM) Prompting unleashes the visual grounding capability of GPT-4V, by enabling the model to associate visual objects with tags inserted on the image. These tags, marked with alphanumerics, can be indexed via text tokens for easy reference. Despite the extraordinary performance from GPT-4V, we observe that other Multimodal Large Language Models (MLLMs) struggle to understand these visual tags. To promote the learning of SoM prompting for open-source models, we propose a new learning paradigm: "list items one by one," which asks the model to enumerate and describe all visual tags placed on the image following the alphanumeric orders of tags. By integrating our curated dataset with other visual instruction tuning datasets, we are able to equip existing MLLMs with the SoM prompting ability. Furthermore, we evaluate our finetuned SoM models on five MLLM benchmarks. We find that this new dataset, even in a relatively small size (10k-30k images with tags), significantly enhances visual reasoning capabilities and reduces hallucinations for MLLMs. Perhaps surprisingly, these improvements persist even when the visual tags are omitted from input images during inference. This suggests the potential of "list items one by one" as a new paradigm for training MLLMs, which strengthens the object-text alignment through the use of visual tags in the training stage. Finally, we conduct analyses by probing trained models to understand the working mechanism of SoM. Our code and data are available at https://github.com/zzxslp/SoM-LLaVA.