CMMMU: Китайский масштабный мультидисциплинарный мультимодальный бенчмарк для оценки понимания
CMMMU: A Chinese Massive Multi-discipline Multimodal Understanding Benchmark
January 22, 2024
Авторы: Ge Zhang, Xinrun Du, Bei Chen, Yiming Liang, Tongxu Luo, Tianyu Zheng, Kang Zhu, Yuyang Cheng, Chunpu Xu, Shuyue Guo, Haoran Zhang, Xingwei Qu, Junjie Wang, Ruibin Yuan, Yizhi Li, Zekun Wang, Yudong Liu, Yu-Hsuan Tsai, Fengji Zhang, Chenghua Lin, Wenhao Huang, Wenhu Chen, Jie Fu
cs.AI
Аннотация
По мере того как возможности крупных мультимодальных моделей (LMM) продолжают развиваться, возникает все большая необходимость в оценке их производительности. Кроме того, существует еще более значительный пробел в оценке продвинутых знаний и способностей к рассуждению LMM в неанглоязычных контекстах, таких как китайский. Мы представляем CMMMU — новый китайский бенчмарк для массового мультидисциплинарного мультимодального понимания, разработанный для оценки LMM на задачах, требующих знаний на уровне университета и тщательного рассуждения в китайском контексте. CMMMU вдохновлен и строго следует шаблону аннотации и анализа MMMU.
CMMMU включает 12 тысяч вручную собранных мультимодальных вопросов из университетских экзаменов, тестов и учебников, охватывающих шесть основных дисциплин: искусство и дизайн, бизнес, наука, здоровье и медицина, гуманитарные и социальные науки, а также технологии и инженерия, как и его аналог MMMU. Эти вопросы охватывают 30 предметов и включают 39 высоко гетерогенных типов изображений, таких как графики, диаграммы, карты, таблицы, нотные листы и химические структуры.
CMMMU фокусируется на сложном восприятии и рассуждении с использованием предметных знаний в китайском контексте. Мы оценили 11 открытых LLM и одну проприетарную модель GPT-4V(ision). Даже GPT-4V достигает точности всего 42%, что указывает на значительный потенциал для улучшений. CMMMU будет способствовать развитию сообщества в создании следующего поколения LMM, направленных на достижение экспертного искусственного интеллекта, а также содействовать демократизации LMM, предоставляя разнообразные языковые контексты.
English
As the capabilities of large multimodal models (LMMs) continue to advance,
evaluating the performance of LMMs emerges as an increasing need. Additionally,
there is an even larger gap in evaluating the advanced knowledge and reasoning
abilities of LMMs in non-English contexts such as Chinese. We introduce CMMMU,
a new Chinese Massive Multi-discipline Multimodal Understanding benchmark
designed to evaluate LMMs on tasks demanding college-level subject knowledge
and deliberate reasoning in a Chinese context. CMMMU is inspired by and
strictly follows the annotation and analysis pattern of MMMU.
CMMMU includes 12k manually collected multimodal questions from college
exams, quizzes, and textbooks, covering six core disciplines: Art & Design,
Business, Science, Health & Medicine, Humanities & Social Science, and Tech &
Engineering, like its companion, MMMU. These questions span 30 subjects and
comprise 39 highly heterogeneous image types, such as charts, diagrams, maps,
tables, music sheets, and chemical structures.
CMMMU focuses on complex perception and reasoning with domain-specific
knowledge in the Chinese context. We evaluate 11 open-source LLMs and one
proprietary GPT-4V(ision). Even GPT-4V only achieves accuracies of 42%,
indicating a large space for improvement. CMMMU will boost the community to
build the next-generation LMMs towards expert artificial intelligence and
promote the democratization of LMMs by providing diverse language contexts.