MME-Unify: Ein umfassender Benchmark für vereinheitlichte Modelle zur multimodalen Verarbeitung und Generierung

MME-Unify: A Comprehensive Benchmark for Unified Multimodal Understanding and Generation Models

April 4, 2025

Autoren: Wulin Xie, Yi-Fan Zhang, Chaoyou Fu, Yang Shi, Bingyan Nie, Hongkai Chen, Zhang Zhang, Liang Wang, Tieniu Tan

cs.AI

Zusammenfassung

Bestehende MLLM-Benchmarks stehen vor erheblichen Herausforderungen bei der Bewertung von Unified MLLMs (U-MLLMs) aufgrund von: 1) dem Fehlen standardisierter Benchmarks für traditionelle Aufgaben, was zu inkonsistenten Vergleichen führt; 2) der Abwesenheit von Benchmarks für gemischte Modalitätsgenerierung, was die Bewertung multimodaler Denkfähigkeiten verhindert. Wir präsentieren ein umfassendes Evaluationsframework, das darauf abzielt, U-MLLMs systematisch zu bewerten. Unser Benchmark umfasst: Standardisierte Bewertung traditioneller Aufgaben. Wir stichprobenartig aus 12 Datensätzen, die 10 Aufgaben mit 30 Unteraufgaben abdecken, um konsistente und faire Vergleiche zwischen Studien zu gewährleisten. 2. Einheitliche Aufgabenbewertung. Wir führen fünf neuartige Aufgaben ein, die multimodales Denken testen, darunter Bildbearbeitung, Commonsense-QA mit Bildgenerierung und geometrisches Denken. 3. Umfassendes Modell-Benchmarking. Wir bewerten 12 führende U-MLLMs, wie Janus-Pro, EMU3, VILA-U und Gemini2-flash, neben spezialisierten Verständnis- (z.B. Claude-3.5-Sonnet) und Generierungsmodellen (z.B. DALL-E-3). Unsere Ergebnisse zeigen erhebliche Leistungslücken bei bestehenden U-MLLMs auf und unterstreichen die Notwendigkeit robusterer Modelle, die gemischte Modalitätsaufgaben effektiv bewältigen können. Der Code und die Evaluationsdaten sind unter https://mme-unify.github.io/ verfügbar.

English

Existing MLLM benchmarks face significant challenges in evaluating Unified MLLMs (U-MLLMs) due to: 1) lack of standardized benchmarks for traditional tasks, leading to inconsistent comparisons; 2) absence of benchmarks for mixed-modality generation, which fails to assess multimodal reasoning capabilities. We present a comprehensive evaluation framework designed to systematically assess U-MLLMs. Our benchmark includes: Standardized Traditional Task Evaluation. We sample from 12 datasets, covering 10 tasks with 30 subtasks, ensuring consistent and fair comparisons across studies." 2. Unified Task Assessment. We introduce five novel tasks testing multimodal reasoning, including image editing, commonsense QA with image generation, and geometric reasoning. 3. Comprehensive Model Benchmarking. We evaluate 12 leading U-MLLMs, such as Janus-Pro, EMU3, VILA-U, and Gemini2-flash, alongside specialized understanding (e.g., Claude-3.5-Sonnet) and generation models (e.g., DALL-E-3). Our findings reveal substantial performance gaps in existing U-MLLMs, highlighting the need for more robust models capable of handling mixed-modality tasks effectively. The code and evaluation data can be found in https://mme-unify.github.io/.