MME-Unify: Комплексный эталон для унифицированных моделей многомодального понимания и генерации

MME-Unify: A Comprehensive Benchmark for Unified Multimodal Understanding and Generation Models

April 4, 2025

Авторы: Wulin Xie, Yi-Fan Zhang, Chaoyou Fu, Yang Shi, Bingyan Nie, Hongkai Chen, Zhang Zhang, Liang Wang, Tieniu Tan

cs.AI

Аннотация

Существующие бенчмарки для MLLM (многоязыковых языковых моделей) сталкиваются с серьезными проблемами при оценке унифицированных MLLM (U-MLLM) из-за: 1) отсутствия стандартизированных бенчмарков для традиционных задач, что приводит к несогласованным сравнениям; 2) отсутствия бенчмарков для задач смешанной модальности, что не позволяет оценить способности к мультимодальному рассуждению. Мы представляем комплексную систему оценки, разработанную для систематического анализа U-MLLM. Наш бенчмарк включает: 1. Стандартизированную оценку традиционных задач. Мы используем выборки из 12 наборов данных, охватывающих 10 задач с 30 подзадачами, что обеспечивает согласованные и справедливые сравнения между исследованиями. 2. Унифицированную оценку задач. Мы вводим пять новых задач, тестирующих мультимодальное рассуждение, включая редактирование изображений, вопросы на здравый смысл с генерацией изображений и геометрическое рассуждение. 3. Комплексное тестирование моделей. Мы оцениваем 12 ведущих U-MLLM, таких как Janus-Pro, EMU3, VILA-U и Gemini2-flash, а также специализированные модели для понимания (например, Claude-3.5-Sonnet) и генерации (например, DALL-E-3). Наши результаты выявляют значительные пробелы в производительности существующих U-MLLM, подчеркивая необходимость создания более устойчивых моделей, способных эффективно справляться с задачами смешанной модальности. Код и данные для оценки доступны по адресу https://mme-unify.github.io/.

English

Existing MLLM benchmarks face significant challenges in evaluating Unified MLLMs (U-MLLMs) due to: 1) lack of standardized benchmarks for traditional tasks, leading to inconsistent comparisons; 2) absence of benchmarks for mixed-modality generation, which fails to assess multimodal reasoning capabilities. We present a comprehensive evaluation framework designed to systematically assess U-MLLMs. Our benchmark includes: Standardized Traditional Task Evaluation. We sample from 12 datasets, covering 10 tasks with 30 subtasks, ensuring consistent and fair comparisons across studies." 2. Unified Task Assessment. We introduce five novel tasks testing multimodal reasoning, including image editing, commonsense QA with image generation, and geometric reasoning. 3. Comprehensive Model Benchmarking. We evaluate 12 leading U-MLLMs, such as Janus-Pro, EMU3, VILA-U, and Gemini2-flash, alongside specialized understanding (e.g., Claude-3.5-Sonnet) and generation models (e.g., DALL-E-3). Our findings reveal substantial performance gaps in existing U-MLLMs, highlighting the need for more robust models capable of handling mixed-modality tasks effectively. The code and evaluation data can be found in https://mme-unify.github.io/.