Eerste Examen van Wetenschappers: Onderzoek naar Cognitieve Vaardigheden van MLLM via Waarneming, Begrip en Redeneren

Scientists' First Exam: Probing Cognitive Abilities of MLLM via Perception, Understanding, and Reasoning

June 12, 2025

Auteurs: Yuhao Zhou, Yiheng Wang, Xuming He, Ruoyao Xiao, Zhiwei Li, Qiantai Feng, Zijie Guo, Yuejin Yang, Hao Wu, Wenxuan Huang, Jiaqi Wei, Dan Si, Xiuqi Yao, Jia Bu, Haiwen Huang, Tianfan Fu, Shixiang Tang, Ben Fei, Dongzhan Zhou, Fenghua Ling, Yan Lu, Siqi Sun, Chenhui Li, Guanjie Zheng, Jiancheng Lv, Wenlong Zhang, Lei Bai

cs.AI

Samenvatting

Wetenschappelijke ontdekkingen zijn in toenemende mate afhankelijk van complexe multimodale redeneringen gebaseerd op informatie-intensieve wetenschappelijke data en domeinspecifieke expertise. Gesterkt door wetenschappelijke benchmarks op expertniveau, hebben Multimodale Large Language Models (MLLMs) het potentieel om dit ontdekkingproces in realistische workflows aanzienlijk te verbeteren. Huidige wetenschappelijke benchmarks richten zich echter voornamelijk op het evalueren van de kennisbegripcapaciteiten van MLLMs, wat leidt tot een ontoereikende beoordeling van hun waarnemings- en redeneervaardigheden. Om deze kloof te overbruggen, presenteren we de Scientists' First Exam (SFE) benchmark, ontworpen om de wetenschappelijke cognitieve capaciteiten van MLLMs te evalueren via drie onderling verbonden niveaus: wetenschappelijke signaalwaarneming, wetenschappelijk attribuutbegrip en wetenschappelijk vergelijkend redeneren. Specifiek bestaat SFE uit 830 expert-geverifieerde VQA-paren over drie vraagtypen, verspreid over 66 multimodale taken in vijf hoogwaardige disciplines. Uitgebreide experimenten tonen aan dat de huidige state-of-the-art GPT-o3 en InternVL-3 slechts 34,08% en 26,52% behalen op SFE, wat een aanzienlijke ruimte voor verbetering van MLLMs in wetenschappelijke domeinen benadrukt. We hopen dat de inzichten verkregen in SFE verdere ontwikkelingen in AI-versterkte wetenschappelijke ontdekkingen zullen bevorderen.

English

Scientific discoveries increasingly rely on complex multimodal reasoning based on information-intensive scientific data and domain-specific expertise. Empowered by expert-level scientific benchmarks, scientific Multimodal Large Language Models (MLLMs) hold the potential to significantly enhance this discovery process in realistic workflows. However, current scientific benchmarks mostly focus on evaluating the knowledge understanding capabilities of MLLMs, leading to an inadequate assessment of their perception and reasoning abilities. To address this gap, we present the Scientists' First Exam (SFE) benchmark, designed to evaluate the scientific cognitive capacities of MLLMs through three interconnected levels: scientific signal perception, scientific attribute understanding, scientific comparative reasoning. Specifically, SFE comprises 830 expert-verified VQA pairs across three question types, spanning 66 multimodal tasks across five high-value disciplines. Extensive experiments reveal that current state-of-the-art GPT-o3 and InternVL-3 achieve only 34.08% and 26.52% on SFE, highlighting significant room for MLLMs to improve in scientific realms. We hope the insights obtained in SFE will facilitate further developments in AI-enhanced scientific discoveries.