Erste Prüfung der Wissenschaftler: Untersuchung der kognitiven Fähigkeiten von MLLM durch Wahrnehmung, Verständnis und logisches Denken

Scientists' First Exam: Probing Cognitive Abilities of MLLM via Perception, Understanding, and Reasoning

June 12, 2025

Autoren: Yuhao Zhou, Yiheng Wang, Xuming He, Ruoyao Xiao, Zhiwei Li, Qiantai Feng, Zijie Guo, Yuejin Yang, Hao Wu, Wenxuan Huang, Jiaqi Wei, Dan Si, Xiuqi Yao, Jia Bu, Haiwen Huang, Tianfan Fu, Shixiang Tang, Ben Fei, Dongzhan Zhou, Fenghua Ling, Yan Lu, Siqi Sun, Chenhui Li, Guanjie Zheng, Jiancheng Lv, Wenlong Zhang, Lei Bai

cs.AI

Zusammenfassung

Wissenschaftliche Entdeckungen beruhen zunehmend auf komplexem multimodalen Denken, das auf informationsintensiven wissenschaftlichen Daten und domänenspezifischem Fachwissen basiert. Durch Experten-basierte wissenschaftliche Benchmarks gestärkt, haben wissenschaftliche Multimodale Große Sprachmodelle (MLLMs) das Potenzial, diesen Entdeckungsprozess in realistischen Arbeitsabläufen erheblich zu verbessern. Allerdings konzentrieren sich aktuelle wissenschaftliche Benchmarks hauptsächlich auf die Bewertung der Wissensverständnisfähigkeiten von MLLMs, was zu einer unzureichenden Bewertung ihrer Wahrnehmungs- und Denkfähigkeiten führt. Um diese Lücke zu schließen, präsentieren wir den Scientists' First Exam (SFE) Benchmark, der die wissenschaftlichen kognitiven Fähigkeiten von MLLMs auf drei miteinander verbundenen Ebenen evaluiert: wissenschaftliche Signalwahrnehmung, wissenschaftliches Attributverständnis und wissenschaftliches vergleichendes Denken. Konkret umfasst SFE 830 von Experten verifizierte VQA-Paare über drei Fragentypen hinweg, die 66 multimodale Aufgaben in fünf hochwertigen Disziplinen abdecken. Umfangreiche Experimente zeigen, dass die derzeitigen State-of-the-art-Modelle GPT-o3 und InternVL-3 auf SFE nur 34,08 % bzw. 26,52 % erreichen, was einen erheblichen Verbesserungsbedarf von MLLMs in wissenschaftlichen Bereichen aufzeigt. Wir hoffen, dass die in SFE gewonnenen Erkenntnisse weitere Entwicklungen in der KI-gestützten wissenschaftlichen Entdeckung fördern werden.

English

Scientific discoveries increasingly rely on complex multimodal reasoning based on information-intensive scientific data and domain-specific expertise. Empowered by expert-level scientific benchmarks, scientific Multimodal Large Language Models (MLLMs) hold the potential to significantly enhance this discovery process in realistic workflows. However, current scientific benchmarks mostly focus on evaluating the knowledge understanding capabilities of MLLMs, leading to an inadequate assessment of their perception and reasoning abilities. To address this gap, we present the Scientists' First Exam (SFE) benchmark, designed to evaluate the scientific cognitive capacities of MLLMs through three interconnected levels: scientific signal perception, scientific attribute understanding, scientific comparative reasoning. Specifically, SFE comprises 830 expert-verified VQA pairs across three question types, spanning 66 multimodal tasks across five high-value disciplines. Extensive experiments reveal that current state-of-the-art GPT-o3 and InternVL-3 achieve only 34.08% and 26.52% on SFE, highlighting significant room for MLLMs to improve in scientific realms. We hope the insights obtained in SFE will facilitate further developments in AI-enhanced scientific discoveries.