Lijstitems één voor één: Een nieuwe databron en leerparadigma voor multimodale LLM's

Samenvatting

Set-of-Mark (SoM) Prompting benut de visuele verankeringscapaciteit van GPT-4V door het model in staat te stellen visuele objecten te associëren met tags die op de afbeelding zijn geplaatst. Deze tags, gemarkeerd met alfanumerieke tekens, kunnen via teksttokens worden geïndexeerd voor eenvoudige referentie. Ondanks de buitengewone prestaties van GPT-4V, merken we op dat andere Multimodale Large Language Models (MLLMs) moeite hebben om deze visuele tags te begrijpen. Om het leren van SoM-prompting voor open-source modellen te bevorderen, stellen we een nieuw leerparadigma voor: "items een voor een opsommen", waarbij het model wordt gevraagd alle visuele tags op de afbeelding te enumereren en te beschrijven volgens de alfanumerieke volgorde van de tags. Door onze samengestelde dataset te integreren met andere datasets voor visuele instructieafstemming, kunnen we bestaande MLLMs uitrusten met de SoM-prompting vaardigheid. Bovendien evalueren we onze fijn afgestemde SoM-modellen op vijf MLLM-benchmarks. We ontdekken dat deze nieuwe dataset, zelfs in een relatief kleine omvang (10k-30k afbeeldingen met tags), de visuele redeneervaardigheden aanzienlijk verbetert en hallucinaties voor MLLMs vermindert. Verrassend genoeg blijven deze verbeteringen bestaan, zelfs wanneer de visuele tags tijdens de inferentie uit de invoerafbeeldingen worden weggelaten. Dit suggereert het potentieel van "items een voor een opsommen" als een nieuw paradigma voor het trainen van MLLMs, dat de object-tekstuitlijning versterkt door het gebruik van visuele tags in de trainingsfase. Ten slotte voeren we analyses uit door getrainde modellen te onderzoeken om het werkingsmechanisme van SoM te begrijpen. Onze code en data zijn beschikbaar op https://github.com/zzxslp/SoM-LLaVA.

English

Set-of-Mark (SoM) Prompting unleashes the visual grounding capability of GPT-4V, by enabling the model to associate visual objects with tags inserted on the image. These tags, marked with alphanumerics, can be indexed via text tokens for easy reference. Despite the extraordinary performance from GPT-4V, we observe that other Multimodal Large Language Models (MLLMs) struggle to understand these visual tags. To promote the learning of SoM prompting for open-source models, we propose a new learning paradigm: "list items one by one," which asks the model to enumerate and describe all visual tags placed on the image following the alphanumeric orders of tags. By integrating our curated dataset with other visual instruction tuning datasets, we are able to equip existing MLLMs with the SoM prompting ability. Furthermore, we evaluate our finetuned SoM models on five MLLM benchmarks. We find that this new dataset, even in a relatively small size (10k-30k images with tags), significantly enhances visual reasoning capabilities and reduces hallucinations for MLLMs. Perhaps surprisingly, these improvements persist even when the visual tags are omitted from input images during inference. This suggests the potential of "list items one by one" as a new paradigm for training MLLMs, which strengthens the object-text alignment through the use of visual tags in the training stage. Finally, we conduct analyses by probing trained models to understand the working mechanism of SoM. Our code and data are available at https://github.com/zzxslp/SoM-LLaVA.

Lijstitems één voor één: Een nieuwe databron en leerparadigma voor multimodale LLM's

List Items One by One: A New Data Source and Learning Paradigm for Multimodal LLMs

Samenvatting

Support