MM-Vet: Valutazione delle Capacità Integrate nei Modelli Multimodali di Grande Dimensione

MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities

August 4, 2023

Autori: Weihao Yu, Zhengyuan Yang, Linjie Li, Jianfeng Wang, Kevin Lin, Zicheng Liu, Xinchao Wang, Lijuan Wang

cs.AI

Abstract

Proponiamo MM-Vet, un benchmark di valutazione che esamina i grandi modelli multimodali (LMM) su compiti multimodali complessi. I recenti LMM hanno dimostrato varie capacità intriganti, come risolvere problemi di matematica scritti sulla lavagna, ragionare su eventi e celebrità nelle immagini di notizie e spiegare battute visive. I rapidi progressi dei modelli pongono sfide allo sviluppo dei benchmark di valutazione. I problemi includono: (1) Come strutturare e valutare sistematicamente i compiti multimodali complessi; (2) Come progettare metriche di valutazione che funzionino bene tra diversi tipi di domande e risposte; e (3) Come fornire approfondimenti sui modelli oltre a una semplice classifica delle prestazioni. A tal fine, presentiamo MM-Vet, progettato sulla base dell'idea che la capacità intrigante di risolvere compiti complessi sia spesso raggiunta da un modello generalista in grado di integrare diverse capacità fondamentali di visione-linguaggio (VL). MM-Vet definisce 6 capacità fondamentali VL ed esamina le 16 integrazioni di interesse derivate dalla combinazione di queste capacità. Per le metriche di valutazione, proponiamo un valutatore basato su LLM per output aperti. Il valutatore consente la valutazione tra diversi tipi di domande e stili di risposta, risultando in una metrica di punteggio unificata. Valutiamo i LMM rappresentativi su MM-Vet, fornendo approfondimenti sulle capacità dei diversi paradigmi e modelli di sistemi LMM. Codice e dati sono disponibili su https://github.com/yuweihao/MM-Vet.

English

We propose MM-Vet, an evaluation benchmark that examines large multimodal models (LMMs) on complicated multimodal tasks. Recent LMMs have shown various intriguing abilities, such as solving math problems written on the blackboard, reasoning about events and celebrities in news images, and explaining visual jokes. Rapid model advancements pose challenges to evaluation benchmark development. Problems include: (1) How to systematically structure and evaluate the complicated multimodal tasks; (2) How to design evaluation metrics that work well across question and answer types; and (3) How to give model insights beyond a simple performance ranking. To this end, we present MM-Vet, designed based on the insight that the intriguing ability to solve complicated tasks is often achieved by a generalist model being able to integrate different core vision-language (VL) capabilities. MM-Vet defines 6 core VL capabilities and examines the 16 integrations of interest derived from the capability combination. For evaluation metrics, we propose an LLM-based evaluator for open-ended outputs. The evaluator enables the evaluation across different question types and answer styles, resulting in a unified scoring metric. We evaluate representative LMMs on MM-Vet, providing insights into the capabilities of different LMM system paradigms and models. Code and data are available at https://github.com/yuweihao/MM-Vet.