Liste die Elemente nacheinander auf: Eine neue Datenquelle und Lernparadigma für multimodale LLMs.

List Items One by One: A New Data Source and Learning Paradigm for Multimodal LLMs

April 25, 2024

Autoren: An Yan, Zhengyuan Yang, Junda Wu, Wanrong Zhu, Jianwei Yang, Linjie Li, Kevin Lin, Jianfeng Wang, Julian McAuley, Jianfeng Gao, Lijuan Wang

cs.AI

Zusammenfassung

Die Set-of-Mark (SoM) Anregung entfesselt die visuelle Verankerungsfähigkeit von GPT-4V, indem das Modell befähigt wird, visuelle Objekte mit auf dem Bild eingefügten Tags zu verknüpfen. Diese mit alphanumerischen Zeichen markierten Tags können über Text-Token indiziert werden, um sie leicht zu referenzieren. Trotz der außergewöhnlichen Leistung von GPT-4V beobachten wir, dass andere Multimodale Große Sprachmodelle (MLLMs) Schwierigkeiten haben, diese visuellen Tags zu verstehen. Um das Lernen von SoM-Anregungen für Open-Source-Modelle zu fördern, schlagen wir ein neues Lernparadigma vor: "Listenelemente nacheinander", das das Modell auffordert, alle visuellen Tags auf dem Bild aufzulisten und zu beschreiben, indem die alphanumerische Reihenfolge der Tags befolgt wird. Durch die Integration unseres kuratierten Datensatzes mit anderen Datensätzen zur Feinabstimmung visueller Anweisungen können wir bestehende MLLMs mit der Fähigkeit zur SoM-Anregung ausstatten. Darüber hinaus bewerten wir unsere feinabgestimmten SoM-Modelle anhand von fünf MLLM-Benchmarks. Wir stellen fest, dass dieser neue Datensatz, selbst in relativ geringer Größe (10k-30k Bilder mit Tags), die visuellen Schlussfolgerungsfähigkeiten signifikant verbessert und Halluzinationen für MLLMs reduziert. Möglicherweise überraschend halten diese Verbesserungen auch an, wenn die visuellen Tags während der Inferenz aus den Eingabebildern ausgelassen werden. Dies deutet auf das Potenzial von "Listenelemente nacheinander" als neues Paradigma für das Training von MLLMs hin, das die Objekt-Text-Ausrichtung durch die Verwendung von visuellen Tags in der Trainingsphase stärkt. Schließlich führen wir Analysen durch, indem wir trainierte Modelle untersuchen, um den Arbeitsmechanismus von SoM zu verstehen. Unser Code und unsere Daten sind verfügbar unter https://github.com/zzxslp/SoM-LLaVA.

English

Set-of-Mark (SoM) Prompting unleashes the visual grounding capability of GPT-4V, by enabling the model to associate visual objects with tags inserted on the image. These tags, marked with alphanumerics, can be indexed via text tokens for easy reference. Despite the extraordinary performance from GPT-4V, we observe that other Multimodal Large Language Models (MLLMs) struggle to understand these visual tags. To promote the learning of SoM prompting for open-source models, we propose a new learning paradigm: "list items one by one," which asks the model to enumerate and describe all visual tags placed on the image following the alphanumeric orders of tags. By integrating our curated dataset with other visual instruction tuning datasets, we are able to equip existing MLLMs with the SoM prompting ability. Furthermore, we evaluate our finetuned SoM models on five MLLM benchmarks. We find that this new dataset, even in a relatively small size (10k-30k images with tags), significantly enhances visual reasoning capabilities and reduces hallucinations for MLLMs. Perhaps surprisingly, these improvements persist even when the visual tags are omitted from input images during inference. This suggests the potential of "list items one by one" as a new paradigm for training MLLMs, which strengthens the object-text alignment through the use of visual tags in the training stage. Finally, we conduct analyses by probing trained models to understand the working mechanism of SoM. Our code and data are available at https://github.com/zzxslp/SoM-LLaVA.