Uni-MMMU: Un Benchmark Unificato Multidisciplinare e Multimodale su Vastissima Scala

Abstract

I modelli multimodali unificati mirano a consentire congiuntamente la comprensione e la generazione visiva, tuttavia gli attuali benchmark raramente esaminano la loro vera integrazione. Le valutazioni esistenti trattano le due capacità in modo isolato o trascurano compiti che le accoppiano intrinsecamente. Per colmare questa lacuna, presentiamo Uni-MMMU, un benchmark completo e consapevole della disciplina che svela sistematicamente la sinergia bidirezionale tra generazione e comprensione in otto domini incentrati sul ragionamento, tra cui scienza, programmazione, matematica e enigmi. Ogni compito è accoppiato bidirezionalmente, richiedendo ai modelli di (i) sfruttare la comprensione concettuale per guidare una sintesi visiva precisa, o (ii) utilizzare la generazione come impalcatura cognitiva per il ragionamento analitico. Uni-MMMU incorpora passaggi intermedi di ragionamento verificabili, verità di base uniche e un protocollo di punteggio riproducibile per entrambi gli output testuali e visivi. Attraverso una valutazione estesa dei modelli unificati, solo di generazione e solo di comprensione all'avanguardia, riveliamo sostanziali disparità di prestazioni e dipendenze cross-modali, offrendo nuove intuizioni su quando e come queste capacità si rafforzano reciprocamente, e stabilendo una base affidabile per l'avanzamento dei modelli unificati.

English

Unified multimodal models aim to jointly enable visual understanding and generation, yet current benchmarks rarely examine their true integration. Existing evaluations either treat the two abilities in isolation or overlook tasks that inherently couple them. To address this gap, we present Uni-MMMU, a comprehensive and discipline-aware benchmark that systematically unfolds the bidirectional synergy between generation and understanding across eight reasoning-centric domains, including science, coding, mathematics, and puzzles. Each task is bidirectionally coupled, demanding models to (i) leverage conceptual understanding to guide precise visual synthesis, or (ii) utilize generation as a cognitive scaffold for analytical reasoning. Uni-MMMU incorporates verifiable intermediate reasoning steps, unique ground truths, and a reproducible scoring protocol for both textual and visual outputs. Through extensive evaluation of state-of-the-art unified, generation-only, and understanding-only models, we reveal substantial performance disparities and cross-modal dependencies, offering new insights into when and how these abilities reinforce one another, and establishing a reliable foundation for advancing unified models.

Uni-MMMU: Un Benchmark Unificato Multidisciplinare e Multimodale su Vastissima Scala

Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark

Abstract

Support