Verkennen van Multi-Granulaire Conceptannotaties voor Multimodale Grote Taalmodellen

Exploring Multi-Grained Concept Annotations for Multimodal Large Language Models

December 8, 2024

Auteurs: Xiao Xu, Tianhao Niu, Yuxi Xie, Libo Qin, Wanxiang Che, Min-Yen Kan

cs.AI

Samenvatting

Multimodale Grote Taalmodellen (MLLM's) excelleren in visie-taal taken door alleen vooraf te trainen op grofkorrelige concept annotaties (bijv. afbeelding bijschriften). Wij veronderstellen dat het integreren van fijnkorrelige concept annotaties (bijv. object labels en object regio's) de prestaties verder zal verbeteren, aangezien beide gegevensgranulariteiten elkaar aanvullen wat betreft de breedte en diepte in concept representatie. Wij introduceren een nieuwe dataset met Multimodale Multi-Korrelige Concept annotaties (MMGiC) voor MLLM's. Bij het construeren van MMGiC onderzoeken we de impact van verschillende gegevensrecepten op multimodale begrip en generatie. Onze analyses tonen aan dat multi-korrelige concept annotaties elkaar integreren en aanvullen, binnen ons gestructureerde sjabloon en een algemeen MLLM kader. We verkennen en tonen duidelijk het potentieel van MMGiC om MLLM's te helpen bij het beter lokaliseren en leren van concepten, door visie en taal op meerdere granulariteiten op elkaar af te stemmen. We valideren onze hypothese verder door het onderzoeken van de eerlijke vergelijking en effectieve samenwerking tussen MMGiC en afbeelding-bijschrift gegevens op 12 multimodale begrips- en generatie benchmarks, bijv. hun juiste combinatie levert 3.95% en 2.34% absolute verbeteringen op ten opzichte van alleen afbeelding-bijschrift gegevens op POPE en SEED-Bench. Code, gegevens en modellen zullen beschikbaar zijn op https://github.com/LooperXX/MMGiC.

English

Multimodal Large Language Models (MLLMs) excel in vision--language tasks by pre-training solely on coarse-grained concept annotations (e.g., image captions). We hypothesize that integrating fine-grained concept annotations (e.g., object labels and object regions) will further improve performance, as both data granularities complement each other in terms of breadth and depth in concept representation. We introduce a new dataset featuring Multimodal Multi-Grained Concept annotations (MMGiC) for MLLMs. In constructing MMGiC, we explore the impact of different data recipes on multimodal comprehension and generation. Our analyses reveal that multi-grained concept annotations integrate and complement each other, under our structured template and a general MLLM framework. We clearly explore and demonstrate the potential of MMGiC to help MLLMs better locate and learn concepts, aligning vision and language at multiple granularities. We further validate our hypothesis by investigating the fair comparison and effective collaboration between MMGiC and image--caption data on 12 multimodal comprehension and generation benchmarks, e.g., their appropriate combination achieve 3.95% and 2.34% absolute improvements over image--caption data alone on POPE and SEED-Bench. Code, data and models will be available at https://github.com/LooperXX/MMGiC.