Explorando Anotaciones de Conceptos Multiescalares para Modelos de Lenguaje Multimodales Grandes

Exploring Multi-Grained Concept Annotations for Multimodal Large Language Models

December 8, 2024

Autores: Xiao Xu, Tianhao Niu, Yuxi Xie, Libo Qin, Wanxiang Che, Min-Yen Kan

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales de Gran Tamaño (MLLMs) destacan en tareas de visión y lenguaje al pre-entrenarse únicamente con anotaciones de conceptos de grano grueso (por ejemplo, subtítulos de imágenes). Hipotetizamos que integrar anotaciones de conceptos de grano fino (por ejemplo, etiquetas de objetos y regiones de objetos) mejorará aún más el rendimiento, ya que ambas granularidades de datos se complementan en términos de amplitud y profundidad en la representación de conceptos. Introducimos un nuevo conjunto de datos que presenta Anotaciones de Conceptos Multimodales de Múltiples Granularidades (MMGiC) para MLLMs. Al construir MMGiC, exploramos el impacto de diferentes recetas de datos en la comprensión y generación multimodal. Nuestros análisis revelan que las anotaciones de conceptos de múltiples granularidades se integran y se complementan entre sí, bajo nuestra plantilla estructurada y un marco general de MLLM. Exploramos claramente y demostramos el potencial de MMGiC para ayudar a los MLLMs a localizar y aprender conceptos de manera más efectiva, alineando la visión y el lenguaje en múltiples granularidades. Validamos nuestra hipótesis investigando la comparación justa y la colaboración efectiva entre MMGiC y datos de imágenes y subtítulos en 12 puntos de referencia de comprensión y generación multimodal, por ejemplo, su combinación adecuada logra mejoras absolutas del 3.95% y 2.34% sobre los datos de imágenes y subtítulos solos en POPE y SEED-Bench. El código, los datos y los modelos estarán disponibles en https://github.com/LooperXX/MMGiC.

English

Multimodal Large Language Models (MLLMs) excel in vision--language tasks by pre-training solely on coarse-grained concept annotations (e.g., image captions). We hypothesize that integrating fine-grained concept annotations (e.g., object labels and object regions) will further improve performance, as both data granularities complement each other in terms of breadth and depth in concept representation. We introduce a new dataset featuring Multimodal Multi-Grained Concept annotations (MMGiC) for MLLMs. In constructing MMGiC, we explore the impact of different data recipes on multimodal comprehension and generation. Our analyses reveal that multi-grained concept annotations integrate and complement each other, under our structured template and a general MLLM framework. We clearly explore and demonstrate the potential of MMGiC to help MLLMs better locate and learn concepts, aligning vision and language at multiple granularities. We further validate our hypothesis by investigating the fair comparison and effective collaboration between MMGiC and image--caption data on 12 multimodal comprehension and generation benchmarks, e.g., their appropriate combination achieve 3.95% and 2.34% absolute improvements over image--caption data alone on POPE and SEED-Bench. Code, data and models will be available at https://github.com/LooperXX/MMGiC.