MM-Vet : Évaluation des grands modèles multimodaux pour leurs capacités intégrées

MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities

August 4, 2023

papers.authors: Weihao Yu, Zhengyuan Yang, Linjie Li, Jianfeng Wang, Kevin Lin, Zicheng Liu, Xinchao Wang, Lijuan Wang

cs.AI

papers.abstract

Nous proposons MM-Vet, un benchmark d'évaluation qui examine les grands modèles multimodaux (LMMs) sur des tâches multimodales complexes. Les LMMs récents ont démontré diverses capacités intrigantes, telles que la résolution de problèmes mathématiques écrits au tableau, le raisonnement sur des événements et des célébrités dans des images d'actualité, et l'explication de blagues visuelles. Les avancées rapides des modèles posent des défis au développement des benchmarks d'évaluation. Les problèmes incluent : (1) Comment structurer et évaluer systématiquement les tâches multimodales complexes ; (2) Comment concevoir des métriques d'évaluation qui fonctionnent bien pour différents types de questions et de réponses ; et (3) Comment fournir des insights sur les modèles au-delà d'un simple classement de performance. À cette fin, nous présentons MM-Vet, conçu sur l'idée que la capacité intrigante à résoudre des tâches complexes est souvent atteinte par un modèle généraliste capable d'intégrer différentes compétences fondamentales en vision-langage (VL). MM-Vet définit 6 compétences fondamentales en VL et examine les 16 intégrations d'intérêt dérivées de la combinaison de ces compétences. Pour les métriques d'évaluation, nous proposons un évaluateur basé sur un LLM pour les sorties ouvertes. Cet évaluateur permet l'évaluation à travers différents types de questions et styles de réponses, aboutissant à une métrique de score unifiée. Nous évaluons des LMMs représentatifs sur MM-Vet, fournissant des insights sur les capacités des différents paradigmes et modèles de systèmes LMM. Le code et les données sont disponibles à l'adresse https://github.com/yuweihao/MM-Vet.

English

We propose MM-Vet, an evaluation benchmark that examines large multimodal models (LMMs) on complicated multimodal tasks. Recent LMMs have shown various intriguing abilities, such as solving math problems written on the blackboard, reasoning about events and celebrities in news images, and explaining visual jokes. Rapid model advancements pose challenges to evaluation benchmark development. Problems include: (1) How to systematically structure and evaluate the complicated multimodal tasks; (2) How to design evaluation metrics that work well across question and answer types; and (3) How to give model insights beyond a simple performance ranking. To this end, we present MM-Vet, designed based on the insight that the intriguing ability to solve complicated tasks is often achieved by a generalist model being able to integrate different core vision-language (VL) capabilities. MM-Vet defines 6 core VL capabilities and examines the 16 integrations of interest derived from the capability combination. For evaluation metrics, we propose an LLM-based evaluator for open-ended outputs. The evaluator enables the evaluation across different question types and answer styles, resulting in a unified scoring metric. We evaluate representative LMMs on MM-Vet, providing insights into the capabilities of different LMM system paradigms and models. Code and data are available at https://github.com/yuweihao/MM-Vet.