Itens Listados Um por Um: Uma Nova Fonte de Dados e Paradigma de Aprendizado para LLMs Multimodais

List Items One by One: A New Data Source and Learning Paradigm for Multimodal LLMs

April 25, 2024

Autores: An Yan, Zhengyuan Yang, Junda Wu, Wanrong Zhu, Jianwei Yang, Linjie Li, Kevin Lin, Jianfeng Wang, Julian McAuley, Jianfeng Gao, Lijuan Wang

cs.AI

Resumo

O Prompting Set-of-Mark (SoM) libera a capacidade de ancoragem visual do GPT-4V, permitindo que o modelo associe objetos visuais a tags inseridas na imagem. Essas tags, marcadas com alfanuméricos, podem ser indexadas por meio de tokens de texto para fácil referência. Apesar do desempenho extraordinário do GPT-4V, observamos que outros Modelos de Linguagem Multimodais de Grande Escala (MLLMs) têm dificuldade em compreender essas tags visuais. Para promover o aprendizado do prompting SoM em modelos de código aberto, propomos um novo paradigma de aprendizado: "listar itens um por um", que solicita ao modelo enumerar e descrever todas as tags visuais colocadas na imagem, seguindo a ordem alfanumérica das tags. Ao integrar nosso conjunto de dados curado com outros conjuntos de dados de ajuste fino de instruções visuais, conseguimos equipar MLLMs existentes com a capacidade de prompting SoM. Além disso, avaliamos nossos modelos SoM ajustados em cinco benchmarks de MLLM. Descobrimos que esse novo conjunto de dados, mesmo em um tamanho relativamente pequeno (10k-30k imagens com tags), melhora significativamente as capacidades de raciocínio visual e reduz alucinações em MLLMs. Talvez surpreendentemente, essas melhorias persistem mesmo quando as tags visuais são omitidas das imagens de entrada durante a inferência. Isso sugere o potencial de "listar itens um por um" como um novo paradigma para treinar MLLMs, que fortalece o alinhamento objeto-texto por meio do uso de tags visuais na etapa de treinamento. Por fim, realizamos análises ao investigar modelos treinados para entender o mecanismo de funcionamento do SoM. Nosso código e dados estão disponíveis em https://github.com/zzxslp/SoM-LLaVA.

English

Set-of-Mark (SoM) Prompting unleashes the visual grounding capability of GPT-4V, by enabling the model to associate visual objects with tags inserted on the image. These tags, marked with alphanumerics, can be indexed via text tokens for easy reference. Despite the extraordinary performance from GPT-4V, we observe that other Multimodal Large Language Models (MLLMs) struggle to understand these visual tags. To promote the learning of SoM prompting for open-source models, we propose a new learning paradigm: "list items one by one," which asks the model to enumerate and describe all visual tags placed on the image following the alphanumeric orders of tags. By integrating our curated dataset with other visual instruction tuning datasets, we are able to equip existing MLLMs with the SoM prompting ability. Furthermore, we evaluate our finetuned SoM models on five MLLM benchmarks. We find that this new dataset, even in a relatively small size (10k-30k images with tags), significantly enhances visual reasoning capabilities and reduces hallucinations for MLLMs. Perhaps surprisingly, these improvements persist even when the visual tags are omitted from input images during inference. This suggests the potential of "list items one by one" as a new paradigm for training MLLMs, which strengthens the object-text alignment through the use of visual tags in the training stage. Finally, we conduct analyses by probing trained models to understand the working mechanism of SoM. Our code and data are available at https://github.com/zzxslp/SoM-LLaVA.