Elementi Elencati Uno per Uno: Una Nuova Fonte di Dati e Paradigma di Apprendimento per Modelli Linguistici Multimodali

List Items One by One: A New Data Source and Learning Paradigm for Multimodal LLMs

April 25, 2024

Autori: An Yan, Zhengyuan Yang, Junda Wu, Wanrong Zhu, Jianwei Yang, Linjie Li, Kevin Lin, Jianfeng Wang, Julian McAuley, Jianfeng Gao, Lijuan Wang

cs.AI

Abstract

Il prompting Set-of-Mark (SoM) libera la capacità di grounding visivo di GPT-4V, consentendo al modello di associare oggetti visivi a tag inseriti sull'immagine. Questi tag, contrassegnati con caratteri alfanumerici, possono essere indicizzati tramite token di testo per un facile riferimento. Nonostante le prestazioni straordinarie di GPT-4V, osserviamo che altri Modelli Linguistici Multimodali di Grande Scala (MLLM) faticano a comprendere questi tag visivi. Per promuovere l'apprendimento del prompting SoM nei modelli open-source, proponiamo un nuovo paradigma di apprendimento: "elencare gli elementi uno per uno", che chiede al modello di enumerare e descrivere tutti i tag visivi posizionati sull'immagine seguendo l'ordine alfanumerico dei tag. Integrando il nostro dataset curato con altri dataset di tuning delle istruzioni visive, siamo in grado di dotare gli MLLM esistenti della capacità di prompting SoM. Inoltre, valutiamo i nostri modelli SoM fine-tuned su cinque benchmark MLLM. Scopriamo che questo nuovo dataset, anche se di dimensioni relativamente ridotte (10k-30k immagini con tag), migliora significativamente le capacità di ragionamento visivo e riduce le allucinazioni per gli MLLM. Sorprendentemente, questi miglioramenti persistono anche quando i tag visivi vengono omessi dalle immagini di input durante l'inferenza. Ciò suggerisce il potenziale di "elencare gli elementi uno per uno" come nuovo paradigma per l'addestramento degli MLLM, che rafforza l'allineamento oggetto-testo attraverso l'uso di tag visivi nella fase di training. Infine, conduciamo analisi esplorando i modelli addestrati per comprendere il meccanismo di funzionamento di SoM. Il nostro codice e i dati sono disponibili su https://github.com/zzxslp/SoM-LLaVA.

English

Set-of-Mark (SoM) Prompting unleashes the visual grounding capability of GPT-4V, by enabling the model to associate visual objects with tags inserted on the image. These tags, marked with alphanumerics, can be indexed via text tokens for easy reference. Despite the extraordinary performance from GPT-4V, we observe that other Multimodal Large Language Models (MLLMs) struggle to understand these visual tags. To promote the learning of SoM prompting for open-source models, we propose a new learning paradigm: "list items one by one," which asks the model to enumerate and describe all visual tags placed on the image following the alphanumeric orders of tags. By integrating our curated dataset with other visual instruction tuning datasets, we are able to equip existing MLLMs with the SoM prompting ability. Furthermore, we evaluate our finetuned SoM models on five MLLM benchmarks. We find that this new dataset, even in a relatively small size (10k-30k images with tags), significantly enhances visual reasoning capabilities and reduces hallucinations for MLLMs. Perhaps surprisingly, these improvements persist even when the visual tags are omitted from input images during inference. This suggests the potential of "list items one by one" as a new paradigm for training MLLMs, which strengthens the object-text alignment through the use of visual tags in the training stage. Finally, we conduct analyses by probing trained models to understand the working mechanism of SoM. Our code and data are available at https://github.com/zzxslp/SoM-LLaVA.