CMMMU : Un benchmark chinois de compréhension multimodale massive et multidisciplinaire

CMMMU: A Chinese Massive Multi-discipline Multimodal Understanding Benchmark

January 22, 2024

Auteurs: Ge Zhang, Xinrun Du, Bei Chen, Yiming Liang, Tongxu Luo, Tianyu Zheng, Kang Zhu, Yuyang Cheng, Chunpu Xu, Shuyue Guo, Haoran Zhang, Xingwei Qu, Junjie Wang, Ruibin Yuan, Yizhi Li, Zekun Wang, Yudong Liu, Yu-Hsuan Tsai, Fengji Zhang, Chenghua Lin, Wenhao Huang, Wenhu Chen, Jie Fu

cs.AI

Résumé

Alors que les capacités des grands modèles multimodaux (LMMs) continuent de progresser, l'évaluation de leurs performances devient un besoin croissant. De plus, il existe un déficit encore plus important dans l'évaluation des connaissances avancées et des capacités de raisonnement des LMMs dans des contextes non-anglophones, comme le chinois. Nous présentons CMMMU, un nouveau benchmark chinois de compréhension multimodale massive et multidisciplinaire, conçu pour évaluer les LMMs sur des tâches nécessitant des connaissances disciplinaires de niveau universitaire et un raisonnement approfondi dans un contexte chinois. CMMMU s'inspire et suit strictement le modèle d'annotation et d'analyse de MMMU. CMMMU comprend 12 000 questions multimodales collectées manuellement à partir d'examens universitaires, de quiz et de manuels, couvrant six disciplines principales : Art & Design, Commerce, Sciences, Santé & Médecine, Sciences Humaines & Sociales, et Technologie & Ingénierie, à l'instar de son homologue MMMU. Ces questions s'étendent sur 30 sujets et comprennent 39 types d'images hautement hétérogènes, tels que des graphiques, des diagrammes, des cartes, des tableaux, des partitions musicales et des structures chimiques. CMMMU se concentre sur la perception complexe et le raisonnement avec des connaissances spécifiques au domaine dans un contexte chinois. Nous évaluons 11 LLMs open-source et un GPT-4V(ision) propriétaire. Même GPT-4V n'atteint que des précisions de 42 %, indiquant un vaste espace d'amélioration. CMMMU stimulera la communauté à construire la prochaine génération de LMMs vers une intelligence artificielle experte et promouvra la démocratisation des LMMs en fournissant des contextes linguistiques diversifiés.

English

As the capabilities of large multimodal models (LMMs) continue to advance, evaluating the performance of LMMs emerges as an increasing need. Additionally, there is an even larger gap in evaluating the advanced knowledge and reasoning abilities of LMMs in non-English contexts such as Chinese. We introduce CMMMU, a new Chinese Massive Multi-discipline Multimodal Understanding benchmark designed to evaluate LMMs on tasks demanding college-level subject knowledge and deliberate reasoning in a Chinese context. CMMMU is inspired by and strictly follows the annotation and analysis pattern of MMMU. CMMMU includes 12k manually collected multimodal questions from college exams, quizzes, and textbooks, covering six core disciplines: Art & Design, Business, Science, Health & Medicine, Humanities & Social Science, and Tech & Engineering, like its companion, MMMU. These questions span 30 subjects and comprise 39 highly heterogeneous image types, such as charts, diagrams, maps, tables, music sheets, and chemical structures. CMMMU focuses on complex perception and reasoning with domain-specific knowledge in the Chinese context. We evaluate 11 open-source LLMs and one proprietary GPT-4V(ision). Even GPT-4V only achieves accuracies of 42%, indicating a large space for improvement. CMMMU will boost the community to build the next-generation LMMs towards expert artificial intelligence and promote the democratization of LMMs by providing diverse language contexts.