MM-Vet: Оценка крупных мультимодальных моделей на предмет интегрированных возможностей

MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities

August 4, 2023

Авторы: Weihao Yu, Zhengyuan Yang, Linjie Li, Jianfeng Wang, Kevin Lin, Zicheng Liu, Xinchao Wang, Lijuan Wang

cs.AI

Аннотация

Мы представляем MM-Vet, оценочный эталон, который исследует крупные мультимодальные модели (LMM) на сложных мультимодальных задачах. Современные LMM демонстрируют различные увлекательные способности, такие как решение математических задач, написанных на доске, рассуждение о событиях и знаменитостях на новостных изображениях и объяснение визуальных шуток. Быстрое развитие моделей создает вызовы для разработки оценочных эталонов. Проблемы включают: (1) Как систематически структурировать и оценивать сложные мультимодальные задачи; (2) Как разработать метрики оценки, которые хорошо работают для различных типов вопросов и ответов; и (3) Как получить инсайты о моделях, выходящие за рамки простого ранжирования производительности. Для этого мы представляем MM-Vet, разработанный на основе идеи, что увлекательная способность решать сложные задачи часто достигается благодаря универсальной модели, способной интегрировать различные базовые возможности в области зрения и языка (VL). MM-Vet определяет 6 базовых VL-способностей и исследует 16 интеграций, представляющих интерес, выведенных из комбинации этих способностей. Для метрик оценки мы предлагаем оценщик на основе LLM для открытых ответов. Этот оценщик позволяет проводить оценку для различных типов вопросов и стилей ответов, что приводит к единой метрике оценки. Мы оцениваем репрезентативные LMM на MM-Vet, предоставляя инсайты о возможностях различных парадигм и моделей LMM. Код и данные доступны по адресу https://github.com/yuweihao/MM-Vet.

English

We propose MM-Vet, an evaluation benchmark that examines large multimodal models (LMMs) on complicated multimodal tasks. Recent LMMs have shown various intriguing abilities, such as solving math problems written on the blackboard, reasoning about events and celebrities in news images, and explaining visual jokes. Rapid model advancements pose challenges to evaluation benchmark development. Problems include: (1) How to systematically structure and evaluate the complicated multimodal tasks; (2) How to design evaluation metrics that work well across question and answer types; and (3) How to give model insights beyond a simple performance ranking. To this end, we present MM-Vet, designed based on the insight that the intriguing ability to solve complicated tasks is often achieved by a generalist model being able to integrate different core vision-language (VL) capabilities. MM-Vet defines 6 core VL capabilities and examines the 16 integrations of interest derived from the capability combination. For evaluation metrics, we propose an LLM-based evaluator for open-ended outputs. The evaluator enables the evaluation across different question types and answer styles, resulting in a unified scoring metric. We evaluate representative LMMs on MM-Vet, providing insights into the capabilities of different LMM system paradigms and models. Code and data are available at https://github.com/yuweihao/MM-Vet.