Первый экзамен ученых: исследование когнитивных способностей MLLM через восприятие, понимание и рассуждение
Scientists' First Exam: Probing Cognitive Abilities of MLLM via Perception, Understanding, and Reasoning
June 12, 2025
Авторы: Yuhao Zhou, Yiheng Wang, Xuming He, Ruoyao Xiao, Zhiwei Li, Qiantai Feng, Zijie Guo, Yuejin Yang, Hao Wu, Wenxuan Huang, Jiaqi Wei, Dan Si, Xiuqi Yao, Jia Bu, Haiwen Huang, Tianfan Fu, Shixiang Tang, Ben Fei, Dongzhan Zhou, Fenghua Ling, Yan Lu, Siqi Sun, Chenhui Li, Guanjie Zheng, Jiancheng Lv, Wenlong Zhang, Lei Bai
cs.AI
Аннотация
Научные открытия всё чаще опираются на сложное мультимодальное мышление, основанное на информационно-насыщенных научных данных и экспертных знаниях в конкретных областях. Благодаря эталонным научным тестам экспертного уровня, мультимодальные большие языковые модели (MLLMs) обладают потенциалом значительно улучшить этот процесс открытий в реальных рабочих процессах. Однако текущие научные тесты в основном сосредоточены на оценке способностей MLLMs к пониманию знаний, что приводит к недостаточной оценке их восприятия и способностей к рассуждению. Чтобы устранить этот пробел, мы представляем тест "Первый экзамен учёного" (SFE), разработанный для оценки научных когнитивных способностей MLLMs через три взаимосвязанных уровня: восприятие научных сигналов, понимание научных атрибутов, научное сравнительное рассуждение. В частности, SFE включает 830 экспертно-проверенных вопросно-ответных пар по трём типам вопросов, охватывающих 66 мультимодальных задач в пяти высокоценных дисциплинах. Обширные эксперименты показывают, что современные модели GPT-o3 и InternVL-3 достигают только 34,08% и 26,52% на SFE, что подчеркивает значительный потенциал для улучшения MLLMs в научных областях. Мы надеемся, что полученные в SFE инсайты будут способствовать дальнейшему развитию научных открытий, усиленных искусственным интеллектом.
English
Scientific discoveries increasingly rely on complex multimodal reasoning
based on information-intensive scientific data and domain-specific expertise.
Empowered by expert-level scientific benchmarks, scientific Multimodal Large
Language Models (MLLMs) hold the potential to significantly enhance this
discovery process in realistic workflows. However, current scientific
benchmarks mostly focus on evaluating the knowledge understanding capabilities
of MLLMs, leading to an inadequate assessment of their perception and reasoning
abilities. To address this gap, we present the Scientists' First Exam (SFE)
benchmark, designed to evaluate the scientific cognitive capacities of MLLMs
through three interconnected levels: scientific signal perception, scientific
attribute understanding, scientific comparative reasoning. Specifically, SFE
comprises 830 expert-verified VQA pairs across three question types, spanning
66 multimodal tasks across five high-value disciplines. Extensive experiments
reveal that current state-of-the-art GPT-o3 and InternVL-3 achieve only 34.08%
and 26.52% on SFE, highlighting significant room for MLLMs to improve in
scientific realms. We hope the insights obtained in SFE will facilitate further
developments in AI-enhanced scientific discoveries.