Uni-MMMU: Ein massiver multidisziplinärer multimodaler einheitlicher Benchmark

papers.abstract

Unified Multimodal Models zielen darauf ab, visuelles Verständnis und Generierung gemeinsam zu ermöglichen, doch aktuelle Benchmarks untersuchen selten deren echte Integration. Bestehende Bewertungen behandeln die beiden Fähigkeiten entweder isoliert oder übersehen Aufgaben, die sie inhärent koppeln. Um diese Lücke zu schließen, präsentieren wir Uni-MMMU, einen umfassenden und disziplinbewussten Benchmark, der die bidirektionale Synergie zwischen Generierung und Verständnis systematisch über acht domänenübergreifende, auf logisches Denken ausgerichtete Bereiche entfaltet, darunter Wissenschaft, Programmierung, Mathematik und Rätsel. Jede Aufgabe ist bidirektional gekoppelt und erfordert von den Modellen, (i) konzeptionelles Verständnis zu nutzen, um präzise visuelle Synthese zu leiten, oder (ii) Generierung als kognitive Stütze für analytisches Denken einzusetzen. Uni-MMMU integriert überprüfbare Zwischenschritte der Argumentation, einzigartige Ground Truths sowie ein reproduzierbares Bewertungsprotokoll für sowohl textuelle als auch visuelle Ausgaben. Durch umfangreiche Evaluierung von state-of-the-art einheitlichen, nur generierenden und nur verstehenden Modellen decken wir erhebliche Leistungsunterschiede und cross-modale Abhängigkeiten auf, bieten neue Einblicke, wann und wie sich diese Fähigkeiten gegenseitig verstärken, und schaffen eine zuverlässige Grundlage für die Weiterentwicklung einheitlicher Modelle.

English

Unified multimodal models aim to jointly enable visual understanding and generation, yet current benchmarks rarely examine their true integration. Existing evaluations either treat the two abilities in isolation or overlook tasks that inherently couple them. To address this gap, we present Uni-MMMU, a comprehensive and discipline-aware benchmark that systematically unfolds the bidirectional synergy between generation and understanding across eight reasoning-centric domains, including science, coding, mathematics, and puzzles. Each task is bidirectionally coupled, demanding models to (i) leverage conceptual understanding to guide precise visual synthesis, or (ii) utilize generation as a cognitive scaffold for analytical reasoning. Uni-MMMU incorporates verifiable intermediate reasoning steps, unique ground truths, and a reproducible scoring protocol for both textual and visual outputs. Through extensive evaluation of state-of-the-art unified, generation-only, and understanding-only models, we reveal substantial performance disparities and cross-modal dependencies, offering new insights into when and how these abilities reinforce one another, and establishing a reliable foundation for advancing unified models.

Uni-MMMU: Ein massiver multidisziplinärer multimodaler einheitlicher Benchmark

Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark

papers.abstract

Support