COMPOSIZIONE MM: Riconsiderando la Composizionalità dei Modelli Visione-Linguaggio Pre-addestrati

MMCOMPOSITION: Revisiting the Compositionality of Pre-trained Vision-Language Models

October 13, 2024

Autori: Hang Hua, Yunlong Tang, Ziyun Zeng, Liangliang Cao, Zhengyuan Yang, Hangfeng He, Chenliang Xu, Jiebo Luo

cs.AI

Abstract

L'avvento dei grandi Modelli Visione-Linguaggio (VLM) ha notevolmente avanzato la comprensione multimodale, consentendo un'integrazione più sofisticata e accurata delle informazioni visive e testuali in varie attività, tra cui didascalie di immagini e video, risposte a domande visive e recupero cross-modale. Nonostante le capacità superiori dei VLM, i ricercatori mancano di una comprensione esaustiva della loro composizionalità - la capacità di comprendere e produrre nuove combinazioni di componenti visivi e testuali conosciuti. I benchmark precedenti forniscono solo una valutazione relativamente approssimativa della composizionalità dal punto di vista degli oggetti, delle relazioni e degli attributi, trascurando un ragionamento più approfondito sugli oggetti, il conteggio e le composizioni complesse. Tuttavia, la composizionalità è una capacità critica che facilita un ragionamento coerente e la comprensione tra modalità per i VLM. Per affrontare questa limitazione, proponiamo MMCOMPOSITION, un nuovo benchmark annotato da umani per valutare in modo esaustivo e accurato la composizionalità dei VLM. Il nostro benchmark proposto funge da complemento a questi lavori precedenti. Con MMCOMPOSITION, possiamo quantificare ed esplorare la composizionalità dei VLM di punta. Sorprendentemente, troviamo che la composizionalità di GPT-4o è inferiore al miglior modello open-source, e analizziamo le ragioni sottostanti. La nostra analisi sperimentale rivela i limiti dei VLM nella percezione e nel ragionamento compositivo dettagliato, e indica aree per miglioramenti nel design e nell'addestramento dei VLM. Risorse disponibili su: https://hanghuacs.github.io/MMComposition/

English

The advent of large Vision-Language Models (VLMs) has significantly advanced multimodal understanding, enabling more sophisticated and accurate integration of visual and textual information across various tasks, including image and video captioning, visual question answering, and cross-modal retrieval. Despite VLMs' superior capabilities, researchers lack a comprehensive understanding of their compositionality -- the ability to understand and produce novel combinations of known visual and textual components. Prior benchmarks provide only a relatively rough compositionality evaluation from the perspectives of objects, relations, and attributes while neglecting deeper reasoning about object interactions, counting, and complex compositions. However, compositionality is a critical ability that facilitates coherent reasoning and understanding across modalities for VLMs. To address this limitation, we propose MMCOMPOSITION, a novel human-annotated benchmark for comprehensively and accurately evaluating VLMs' compositionality. Our proposed benchmark serves as a complement to these earlier works. With MMCOMPOSITION, we can quantify and explore the compositionality of the mainstream VLMs. Surprisingly, we find GPT-4o's compositionality inferior to the best open-source model, and we analyze the underlying reasons. Our experimental analysis reveals the limitations of VLMs in fine-grained compositional perception and reasoning, and points to areas for improvement in VLM design and training. Resources available at: https://hanghuacs.github.io/MMComposition/