MME-Unify: Um Benchmark Abrangente para Modelos Unificados de Compreensão e Geração Multimodal

MME-Unify: A Comprehensive Benchmark for Unified Multimodal Understanding and Generation Models

April 4, 2025

Autores: Wulin Xie, Yi-Fan Zhang, Chaoyou Fu, Yang Shi, Bingyan Nie, Hongkai Chen, Zhang Zhang, Liang Wang, Tieniu Tan

cs.AI

Resumo

Os benchmarks existentes para MLLMs enfrentam desafios significativos na avaliação de MLLMs Unificados (U-MLLMs) devido a: 1) falta de benchmarks padronizados para tarefas tradicionais, levando a comparações inconsistentes; 2) ausência de benchmarks para geração de modalidades mistas, o que falha em avaliar as capacidades de raciocínio multimodal. Apresentamos um framework de avaliação abrangente projetado para avaliar sistematicamente U-MLLMs. Nosso benchmark inclui: Avaliação Padronizada de Tarefas Tradicionais. Amostramos 12 conjuntos de dados, cobrindo 10 tarefas com 30 subtarefas, garantindo comparações consistentes e justas entre estudos. 2. Avaliação Unificada de Tarefas. Introduzimos cinco novas tarefas que testam o raciocínio multimodal, incluindo edição de imagens, QA de senso comum com geração de imagens e raciocínio geométrico. 3. Benchmarking Abrangente de Modelos. Avaliamos 12 U-MLLMs líderes, como Janus-Pro, EMU3, VILA-U e Gemini2-flash, juntamente com modelos especializados em compreensão (por exemplo, Claude-3.5-Sonnet) e geração (por exemplo, DALL-E-3). Nossos resultados revelam lacunas substanciais de desempenho nos U-MLLMs existentes, destacando a necessidade de modelos mais robustos capazes de lidar efetivamente com tarefas de modalidades mistas. O código e os dados de avaliação podem ser encontrados em https://mme-unify.github.io/.

English

Existing MLLM benchmarks face significant challenges in evaluating Unified MLLMs (U-MLLMs) due to: 1) lack of standardized benchmarks for traditional tasks, leading to inconsistent comparisons; 2) absence of benchmarks for mixed-modality generation, which fails to assess multimodal reasoning capabilities. We present a comprehensive evaluation framework designed to systematically assess U-MLLMs. Our benchmark includes: Standardized Traditional Task Evaluation. We sample from 12 datasets, covering 10 tasks with 30 subtasks, ensuring consistent and fair comparisons across studies." 2. Unified Task Assessment. We introduce five novel tasks testing multimodal reasoning, including image editing, commonsense QA with image generation, and geometric reasoning. 3. Comprehensive Model Benchmarking. We evaluate 12 leading U-MLLMs, such as Janus-Pro, EMU3, VILA-U, and Gemini2-flash, alongside specialized understanding (e.g., Claude-3.5-Sonnet) and generation models (e.g., DALL-E-3). Our findings reveal substantial performance gaps in existing U-MLLMs, highlighting the need for more robust models capable of handling mixed-modality tasks effectively. The code and evaluation data can be found in https://mme-unify.github.io/.