Uni-MMMU : Un benchmark massif unifié multimodal et multidisciplinaire

papers.abstract

Les modèles multimodaux unifiés visent à permettre conjointement la compréhension et la génération visuelles, mais les benchmarks actuels examinent rarement leur véritable intégration. Les évaluations existantes traitent ces deux capacités de manière isolée ou négligent les tâches qui les couplent intrinsèquement. Pour combler cette lacune, nous présentons Uni-MMMU, un benchmark complet et conscient des disciplines qui déploie systématiquement la synergie bidirectionnelle entre génération et compréhension à travers huit domaines centrés sur le raisonnement, incluant les sciences, le codage, les mathématiques et les énigmes. Chaque tâche est couplée de manière bidirectionnelle, exigeant des modèles qu'ils (i) exploitent la compréhension conceptuelle pour guider une synthèse visuelle précise, ou (ii) utilisent la génération comme échafaudage cognitif pour un raisonnement analytique. Uni-MMMU intègre des étapes de raisonnement intermédiaires vérifiables, des vérités terrain uniques et un protocole de notation reproductible pour les sorties textuelles et visuelles. À travers une évaluation approfondie des modèles unifiés, de génération uniquement et de compréhension uniquement de pointe, nous révélons des disparités de performance substantielles et des dépendances intermodales, offrant de nouvelles perspectives sur quand et comment ces capacités se renforcent mutuellement, et établissant une base fiable pour faire progresser les modèles unifiés.

English

Unified multimodal models aim to jointly enable visual understanding and generation, yet current benchmarks rarely examine their true integration. Existing evaluations either treat the two abilities in isolation or overlook tasks that inherently couple them. To address this gap, we present Uni-MMMU, a comprehensive and discipline-aware benchmark that systematically unfolds the bidirectional synergy between generation and understanding across eight reasoning-centric domains, including science, coding, mathematics, and puzzles. Each task is bidirectionally coupled, demanding models to (i) leverage conceptual understanding to guide precise visual synthesis, or (ii) utilize generation as a cognitive scaffold for analytical reasoning. Uni-MMMU incorporates verifiable intermediate reasoning steps, unique ground truths, and a reproducible scoring protocol for both textual and visual outputs. Through extensive evaluation of state-of-the-art unified, generation-only, and understanding-only models, we reveal substantial performance disparities and cross-modal dependencies, offering new insights into when and how these abilities reinforce one another, and establishing a reliable foundation for advancing unified models.

Uni-MMMU : Un benchmark massif unifié multimodal et multidisciplinaire

Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark

papers.abstract

Support