CMMMU: Ein chinesischer Benchmark für massives multidisziplinäres multimodales Verständnis

CMMMU: A Chinese Massive Multi-discipline Multimodal Understanding Benchmark

January 22, 2024

Autoren: Ge Zhang, Xinrun Du, Bei Chen, Yiming Liang, Tongxu Luo, Tianyu Zheng, Kang Zhu, Yuyang Cheng, Chunpu Xu, Shuyue Guo, Haoran Zhang, Xingwei Qu, Junjie Wang, Ruibin Yuan, Yizhi Li, Zekun Wang, Yudong Liu, Yu-Hsuan Tsai, Fengji Zhang, Chenghua Lin, Wenhao Huang, Wenhu Chen, Jie Fu

cs.AI

Zusammenfassung

Mit den fortlaufenden Fortschritten der Fähigkeiten großer multimodaler Modelle (LMMs) wird die Bewertung ihrer Leistung zunehmend notwendig. Darüber hinaus besteht eine noch größere Lücke bei der Bewertung der fortgeschrittenen Wissens- und Denkfähigkeiten von LMMs in nicht-englischen Kontexten wie Chinesisch. Wir stellen CMMMU vor, einen neuen chinesischen Benchmark für massives multidisziplinäres multimodales Verständnis, der entwickelt wurde, um LMMs bei Aufgaben zu bewerten, die Hochschulwissen und gezieltes Denken in einem chinesischen Kontext erfordern. CMMMU ist inspiriert von und folgt strikt dem Annotations- und Analysemuster von MMMU. CMMMU umfasst 12.000 manuell gesammelte multimodale Fragen aus Hochschulprüfungen, Tests und Lehrbüchern, die sechs Kernbereiche abdecken: Kunst & Design, Wirtschaft, Naturwissenschaften, Gesundheit & Medizin, Geistes- und Sozialwissenschaften sowie Technik & Ingenieurwesen, ähnlich wie sein Gegenstück MMMU. Diese Fragen erstrecken sich über 30 Fächer und bestehen aus 39 hochgradig heterogenen Bildtypen wie Diagrammen, Karten, Tabellen, Notenblättern und chemischen Strukturen. CMMMU konzentriert sich auf komplexe Wahrnehmung und Denkfähigkeiten mit domänenspezifischem Wissen im chinesischen Kontext. Wir bewerten 11 Open-Source-LLMs und ein proprietäres GPT-4V(ision). Selbst GPT-4V erreicht nur Genauigkeiten von 42 %, was auf einen großen Verbesserungsbedarf hinweist. CMMMU wird die Gemeinschaft dazu anregen, die nächste Generation von LMMs in Richtung Experten-Künstlicher Intelligenz zu entwickeln und die Demokratisierung von LMMs durch die Bereitstellung diverser Sprachkontexte fördern.

English

As the capabilities of large multimodal models (LMMs) continue to advance, evaluating the performance of LMMs emerges as an increasing need. Additionally, there is an even larger gap in evaluating the advanced knowledge and reasoning abilities of LMMs in non-English contexts such as Chinese. We introduce CMMMU, a new Chinese Massive Multi-discipline Multimodal Understanding benchmark designed to evaluate LMMs on tasks demanding college-level subject knowledge and deliberate reasoning in a Chinese context. CMMMU is inspired by and strictly follows the annotation and analysis pattern of MMMU. CMMMU includes 12k manually collected multimodal questions from college exams, quizzes, and textbooks, covering six core disciplines: Art & Design, Business, Science, Health & Medicine, Humanities & Social Science, and Tech & Engineering, like its companion, MMMU. These questions span 30 subjects and comprise 39 highly heterogeneous image types, such as charts, diagrams, maps, tables, music sheets, and chemical structures. CMMMU focuses on complex perception and reasoning with domain-specific knowledge in the Chinese context. We evaluate 11 open-source LLMs and one proprietary GPT-4V(ision). Even GPT-4V only achieves accuracies of 42%, indicating a large space for improvement. CMMMU will boost the community to build the next-generation LMMs towards expert artificial intelligence and promote the democratization of LMMs by providing diverse language contexts.