MMMU-Pro: более надежный многодисциплинарный мультимодальный бенчмарк понимания

MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark

September 4, 2024

Авторы: Xiang Yue, Tianyu Zheng, Yuansheng Ni, Yubo Wang, Kai Zhang, Shengbang Tong, Yuxuan Sun, Ming Yin, Botao Yu, Ge Zhang, Huan Sun, Yu Su, Wenhu Chen, Graham Neubig

cs.AI

Аннотация

Данная статья представляет MMMU-Pro, устойчивую версию бенчмарка Massive Multi-discipline Multimodal Understanding and Reasoning (MMMU). MMMU-Pro строго оценивает истинные способности понимания и рассуждения мультимодельных моделей через трехэтапный процесс, основанный на MMMU: (1) фильтрация вопросов, на которые можно ответить только текстовыми моделями, (2) дополнение вариантов ответов и (3) введение настройки только с визуальным входом, где вопросы встраиваются в изображения. Эта настройка ставит перед искусственным интеллектом задачу одновременного "видения" и "чтения", проверяя фундаментальное когнитивное умение человека безупречно интегрировать визуальную и текстовую информацию. Результаты показывают, что производительность модели на MMMU-Pro существенно ниже, чем на MMMU, варьируя от 16,8% до 26,9% в различных моделях. Мы исследуем влияние OCR подсказок и цепочечного рассуждения (CoT), обнаруживая, что OCR подсказки имеют минимальный эффект, в то время как CoT в целом улучшает производительность. MMMU-Pro предоставляет более строгий инструмент оценки, тесно имитирующий реальные сценарии и предлагающий ценные направления для будущих исследований в области мультимодального искусственного интеллекта.

English

This paper introduces MMMU-Pro, a robust version of the Massive Multi-discipline Multimodal Understanding and Reasoning (MMMU) benchmark. MMMU-Pro rigorously assesses multimodal models' true understanding and reasoning capabilities through a three-step process based on MMMU: (1) filtering out questions answerable by text-only models, (2) augmenting candidate options, and (3) introducing a vision-only input setting where questions are embedded within images. This setting challenges AI to truly "see" and "read" simultaneously, testing a fundamental human cognitive skill of seamlessly integrating visual and textual information. Results show that model performance is substantially lower on MMMU-Pro than on MMMU, ranging from 16.8% to 26.9% across models. We explore the impact of OCR prompts and Chain of Thought (CoT) reasoning, finding that OCR prompts have minimal effect while CoT generally improves performance. MMMU-Pro provides a more rigorous evaluation tool, closely mimicking real-world scenarios and offering valuable directions for future research in multimodal AI.