Explorando Anotações de Conceitos Multigranulares para Modelos de Linguagem Multimodais de Grande Escala

Exploring Multi-Grained Concept Annotations for Multimodal Large Language Models

December 8, 2024

Autores: Xiao Xu, Tianhao Niu, Yuxi Xie, Libo Qin, Wanxiang Che, Min-Yen Kan

cs.AI

Resumo

Os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) destacam-se em tarefas de visão e linguagem ao serem pré-treinados exclusivamente em anotações de conceitos de granularidade grosseira (por exemplo, legendas de imagens). Nossa hipótese é que a integração de anotações de conceitos de granularidade fina (por exemplo, rótulos de objetos e regiões de objetos) irá melhorar ainda mais o desempenho, uma vez que ambas as granularidades de dados se complementam em termos de amplitude e profundidade na representação de conceitos. Apresentamos um novo conjunto de dados com anotações de Conceitos Multimodais de Múltiplas Granularidades (MMGiC) para MLLMs. Ao construir o MMGiC, exploramos o impacto de diferentes receitas de dados na compreensão e geração multimodais. Nossas análises revelam que as anotações de conceitos de múltiplas granularidades se integram e se complementam, sob nosso modelo estruturado e um framework MLLM geral. Exploramos claramente e demonstramos o potencial do MMGiC para ajudar MLLMs a localizar e aprender conceitos de forma mais eficaz, alinhando visão e linguagem em múltiplas granularidades. Validamos ainda nossa hipótese investigando a comparação justa e a colaboração eficaz entre o MMGiC e dados de imagem e legenda em 12 referências de compreensão e geração multimodais, por exemplo, sua combinação apropriada alcança melhorias absolutas de 3,95% e 2,34% sobre os dados de imagem e legenda sozinhos em POPE e SEED-Bench. O código, dados e modelos estarão disponíveis em https://github.com/LooperXX/MMGiC.

English

Multimodal Large Language Models (MLLMs) excel in vision--language tasks by pre-training solely on coarse-grained concept annotations (e.g., image captions). We hypothesize that integrating fine-grained concept annotations (e.g., object labels and object regions) will further improve performance, as both data granularities complement each other in terms of breadth and depth in concept representation. We introduce a new dataset featuring Multimodal Multi-Grained Concept annotations (MMGiC) for MLLMs. In constructing MMGiC, we explore the impact of different data recipes on multimodal comprehension and generation. Our analyses reveal that multi-grained concept annotations integrate and complement each other, under our structured template and a general MLLM framework. We clearly explore and demonstrate the potential of MMGiC to help MLLMs better locate and learn concepts, aligning vision and language at multiple granularities. We further validate our hypothesis by investigating the fair comparison and effective collaboration between MMGiC and image--caption data on 12 multimodal comprehension and generation benchmarks, e.g., their appropriate combination achieve 3.95% and 2.34% absolute improvements over image--caption data alone on POPE and SEED-Bench. Code, data and models will be available at https://github.com/LooperXX/MMGiC.