CMMMU: 中国大規模学際マルチモーダル理解ベンチマーク
CMMMU: A Chinese Massive Multi-discipline Multimodal Understanding Benchmark
January 22, 2024
著者: Ge Zhang, Xinrun Du, Bei Chen, Yiming Liang, Tongxu Luo, Tianyu Zheng, Kang Zhu, Yuyang Cheng, Chunpu Xu, Shuyue Guo, Haoran Zhang, Xingwei Qu, Junjie Wang, Ruibin Yuan, Yizhi Li, Zekun Wang, Yudong Liu, Yu-Hsuan Tsai, Fengji Zhang, Chenghua Lin, Wenhao Huang, Wenhu Chen, Jie Fu
cs.AI
要旨
大規模マルチモーダルモデル（LMM）の能力が進化を続ける中、その性能を評価する必要性が高まっています。さらに、中国語などの非英語コンテキストにおけるLMMの高度な知識と推論能力を評価する分野には、より大きなギャップが存在します。本論文では、中国語コンテキストにおいて大学レベルの専門知識と慎重な推論を必要とするタスクでLMMを評価するために設計された新しいベンチマーク、CMMMU（Chinese Massive Multi-discipline Multimodal Understanding）を紹介します。CMMMUはMMMUのアノテーションと分析パターンに着想を得て、それを厳密に踏襲しています。
CMMMUは、大学の試験、クイズ、教科書から手作業で収集した12,000のマルチモーダル問題を含み、Art & Design、Business、Science、Health & Medicine、Humanities & Social Science、Tech & Engineeringの6つの主要な学問分野をカバーしています。これは、その姉妹版であるMMMUと同様です。これらの問題は30の科目にまたがり、チャート、図表、地図、表、楽譜、化学構造など39の非常に多様な画像タイプで構成されています。
CMMMUは、中国語コンテキストにおけるドメイン固有の知識を用いた複雑な知覚と推論に焦点を当てています。我々は11のオープンソースLLMと1つのプロプライエタリモデルであるGPT-4V(ision)を評価しました。GPT-4Vでさえ42%の正答率しか達成できず、改善の余地が大きいことが示されています。CMMMUは、専門家レベルの人工知能を目指す次世代LMMの構築をコミュニティに促し、多様な言語コンテキストを提供することでLMMの民主化を推進するでしょう。
English
As the capabilities of large multimodal models (LMMs) continue to advance,
evaluating the performance of LMMs emerges as an increasing need. Additionally,
there is an even larger gap in evaluating the advanced knowledge and reasoning
abilities of LMMs in non-English contexts such as Chinese. We introduce CMMMU,
a new Chinese Massive Multi-discipline Multimodal Understanding benchmark
designed to evaluate LMMs on tasks demanding college-level subject knowledge
and deliberate reasoning in a Chinese context. CMMMU is inspired by and
strictly follows the annotation and analysis pattern of MMMU.
CMMMU includes 12k manually collected multimodal questions from college
exams, quizzes, and textbooks, covering six core disciplines: Art & Design,
Business, Science, Health & Medicine, Humanities & Social Science, and Tech &
Engineering, like its companion, MMMU. These questions span 30 subjects and
comprise 39 highly heterogeneous image types, such as charts, diagrams, maps,
tables, music sheets, and chemical structures.
CMMMU focuses on complex perception and reasoning with domain-specific
knowledge in the Chinese context. We evaluate 11 open-source LLMs and one
proprietary GPT-4V(ision). Even GPT-4V only achieves accuracies of 42%,
indicating a large space for improvement. CMMMU will boost the community to
build the next-generation LMMs towards expert artificial intelligence and
promote the democratization of LMMs by providing diverse language contexts.