ChatPaper.aiChatPaper

Uni-MMMU: Масштабный мультидисциплинарный мультимодальный унифицированный бенчмарк

Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark

October 15, 2025
Авторы: Kai Zou, Ziqi Huang, Yuhao Dong, Shulin Tian, Dian Zheng, Hongbo Liu, Jingwen He, Bin Liu, Yu Qiao, Ziwei Liu
cs.AI

Аннотация

Унифицированные мультимодальные модели направлены на совместное обеспечение визуального понимания и генерации, однако современные тестовые наборы редко исследуют их истинную интеграцию. Существующие оценки либо рассматривают эти две способности изолированно, либо упускают задачи, которые изначально их связывают. Для устранения этого пробела мы представляем Uni-MMMU — всеобъемлющий и дисциплинарно-ориентированный тестовый набор, который систематически раскрывает двунаправленную синергию между генерацией и пониманием в восьми областях, ориентированных на рассуждения, включая науку, программирование, математику и головоломки. Каждая задача двунаправленно связана, требуя от моделей (i) использовать концептуальное понимание для точного визуального синтеза или (ii) применять генерацию как когнитивную опору для аналитического рассуждения. Uni-MMMU включает проверяемые промежуточные шаги рассуждений, уникальные эталонные данные и воспроизводимый протокол оценки как для текстовых, так и для визуальных выходных данных. Благодаря обширной оценке современных унифицированных, генерационных и моделей, ориентированных только на понимание, мы выявляем значительные различия в производительности и кросс-модальные зависимости, предлагая новые инсайты о том, когда и как эти способности усиливают друг друга, и устанавливая надежную основу для развития унифицированных моделей.
English
Unified multimodal models aim to jointly enable visual understanding and generation, yet current benchmarks rarely examine their true integration. Existing evaluations either treat the two abilities in isolation or overlook tasks that inherently couple them. To address this gap, we present Uni-MMMU, a comprehensive and discipline-aware benchmark that systematically unfolds the bidirectional synergy between generation and understanding across eight reasoning-centric domains, including science, coding, mathematics, and puzzles. Each task is bidirectionally coupled, demanding models to (i) leverage conceptual understanding to guide precise visual synthesis, or (ii) utilize generation as a cognitive scaffold for analytical reasoning. Uni-MMMU incorporates verifiable intermediate reasoning steps, unique ground truths, and a reproducible scoring protocol for both textual and visual outputs. Through extensive evaluation of state-of-the-art unified, generation-only, and understanding-only models, we reveal substantial performance disparities and cross-modal dependencies, offering new insights into when and how these abilities reinforce one another, and establishing a reliable foundation for advancing unified models.
PDF92October 16, 2025