MM-Vet: Avaliando Modelos Multimodais de Grande Escala para Capacidades Integradas

MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities

August 4, 2023

Autores: Weihao Yu, Zhengyuan Yang, Linjie Li, Jianfeng Wang, Kevin Lin, Zicheng Liu, Xinchao Wang, Lijuan Wang

cs.AI

Resumo

Propomos o MM-Vet, um benchmark de avaliação que examina grandes modelos multimodais (LMMs) em tarefas multimodais complexas. Modelos LMMs recentes têm demonstrado diversas habilidades intrigantes, como resolver problemas matemáticos escritos em quadros, raciocinar sobre eventos e celebridades em imagens de notícias e explicar piadas visuais. Os rápidos avanços nos modelos apresentam desafios para o desenvolvimento de benchmarks de avaliação. Os problemas incluem: (1) Como estruturar e avaliar sistematicamente as tarefas multimodais complexas; (2) Como projetar métricas de avaliação que funcionem bem em diferentes tipos de perguntas e respostas; e (3) Como fornecer insights sobre os modelos além de uma simples classificação de desempenho. Para isso, apresentamos o MM-Vet, projetado com base na ideia de que a capacidade intrigante de resolver tarefas complexas é frequentemente alcançada por um modelo generalista capaz de integrar diferentes capacidades centrais de visão e linguagem (VL). O MM-Vet define 6 capacidades centrais de VL e examina as 16 integrações de interesse derivadas da combinação dessas capacidades. Para métricas de avaliação, propomos um avaliador baseado em LLM para saídas de resposta aberta. O avaliador permite a avaliação em diferentes tipos de perguntas e estilos de resposta, resultando em uma métrica de pontuação unificada. Avaliamos LMMs representativos no MM-Vet, fornecendo insights sobre as capacidades de diferentes paradigmas e modelos de sistemas LMM. O código e os dados estão disponíveis em https://github.com/yuweihao/MM-Vet.

English

We propose MM-Vet, an evaluation benchmark that examines large multimodal models (LMMs) on complicated multimodal tasks. Recent LMMs have shown various intriguing abilities, such as solving math problems written on the blackboard, reasoning about events and celebrities in news images, and explaining visual jokes. Rapid model advancements pose challenges to evaluation benchmark development. Problems include: (1) How to systematically structure and evaluate the complicated multimodal tasks; (2) How to design evaluation metrics that work well across question and answer types; and (3) How to give model insights beyond a simple performance ranking. To this end, we present MM-Vet, designed based on the insight that the intriguing ability to solve complicated tasks is often achieved by a generalist model being able to integrate different core vision-language (VL) capabilities. MM-Vet defines 6 core VL capabilities and examines the 16 integrations of interest derived from the capability combination. For evaluation metrics, we propose an LLM-based evaluator for open-ended outputs. The evaluator enables the evaluation across different question types and answer styles, resulting in a unified scoring metric. We evaluate representative LMMs on MM-Vet, providing insights into the capabilities of different LMM system paradigms and models. Code and data are available at https://github.com/yuweihao/MM-Vet.