Uni-MMMU: Een Massieve Multidisciplinaire Multimodale Geünificeerde Benchmark

Samenvatting

Unified multimodale modellen streven ernaar visueel begrip en generatie gezamenlijk mogelijk te maken, maar huidige benchmarks onderzoeken zelden hun echte integratie. Bestaande evaluaties behandelen de twee vaardigheden ofwel in isolatie of negeren taken die ze inherent koppelen. Om deze kloof te dichten, presenteren we Uni-MMMU, een uitgebreide en disciplinebewuste benchmark die de bidirectionele synergie tussen generatie en begrip systematisch ontvouwt over acht redeneringsgerichte domeinen, waaronder wetenschap, codering, wiskunde en puzzels. Elke taak is bidirectioneel gekoppeld, wat modellen vereist om (i) conceptueel begrip te benutten voor precieze visuele synthese, of (ii) generatie te gebruiken als cognitieve steun voor analytisch redeneren. Uni-MMMU omvat verifieerbare tussenstappen in het redeneren, unieke grondwaarden en een reproduceerbaar scoringsprotocol voor zowel tekstuele als visuele uitvoer. Door uitgebreide evaluatie van state-of-the-art unified, generatie-alleen en begrip-alleen modellen, onthullen we aanzienlijke prestatieverschillen en cross-modale afhankelijkheden, wat nieuwe inzichten biedt in wanneer en hoe deze vaardigheden elkaar versterken, en een betrouwbare basis legt voor de verdere ontwikkeling van unified modellen.

English

Unified multimodal models aim to jointly enable visual understanding and generation, yet current benchmarks rarely examine their true integration. Existing evaluations either treat the two abilities in isolation or overlook tasks that inherently couple them. To address this gap, we present Uni-MMMU, a comprehensive and discipline-aware benchmark that systematically unfolds the bidirectional synergy between generation and understanding across eight reasoning-centric domains, including science, coding, mathematics, and puzzles. Each task is bidirectionally coupled, demanding models to (i) leverage conceptual understanding to guide precise visual synthesis, or (ii) utilize generation as a cognitive scaffold for analytical reasoning. Uni-MMMU incorporates verifiable intermediate reasoning steps, unique ground truths, and a reproducible scoring protocol for both textual and visual outputs. Through extensive evaluation of state-of-the-art unified, generation-only, and understanding-only models, we reveal substantial performance disparities and cross-modal dependencies, offering new insights into when and how these abilities reinforce one another, and establishing a reliable foundation for advancing unified models.

Uni-MMMU: Een Massieve Multidisciplinaire Multimodale Geünificeerde Benchmark

Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark

Samenvatting

Support