Primo Esame degli Scienziati: Valutazione delle Capacità Cognitive dei MLLM attraverso Percezione, Comprensione e Ragionamento

Scientists' First Exam: Probing Cognitive Abilities of MLLM via Perception, Understanding, and Reasoning

June 12, 2025

Autori: Yuhao Zhou, Yiheng Wang, Xuming He, Ruoyao Xiao, Zhiwei Li, Qiantai Feng, Zijie Guo, Yuejin Yang, Hao Wu, Wenxuan Huang, Jiaqi Wei, Dan Si, Xiuqi Yao, Jia Bu, Haiwen Huang, Tianfan Fu, Shixiang Tang, Ben Fei, Dongzhan Zhou, Fenghua Ling, Yan Lu, Siqi Sun, Chenhui Li, Guanjie Zheng, Jiancheng Lv, Wenlong Zhang, Lei Bai

cs.AI

Abstract

Le scoperte scientifiche si basano sempre più su un ragionamento multimodale complesso che utilizza dati scientifici ad alta intensità informativa e competenze specifiche del dominio. Potenziati da benchmark scientifici di livello esperto, i Modelli Linguistici Multimodali (MLLM) scientifici hanno il potenziale di migliorare significativamente questo processo di scoperta nei flussi di lavoro realistici. Tuttavia, gli attuali benchmark scientifici si concentrano principalmente sulla valutazione delle capacità di comprensione delle conoscenze degli MLLM, portando a una valutazione inadeguata delle loro abilità percettive e di ragionamento. Per colmare questa lacuna, presentiamo il benchmark Scientists' First Exam (SFE), progettato per valutare le capacità cognitive scientifiche degli MLLM attraverso tre livelli interconnessi: percezione del segnale scientifico, comprensione degli attributi scientifici, ragionamento comparativo scientifico. Nello specifico, SFE comprende 830 coppie domanda-risposta verificate da esperti, suddivise in tre tipologie di domande, che coprono 66 task multimodali in cinque discipline ad alto valore. Esperimenti estensivi rivelano che gli attuali modelli all'avanguardia GPT-3 e InternVL-3 raggiungono solo il 34,08% e il 26,52% su SFE, evidenziando un significativo margine di miglioramento per gli MLLM nei contesti scientifici. Ci auguriamo che le intuizioni ottenute da SFE possano facilitare ulteriori sviluppi nelle scoperte scientifiche potenziate dall'IA.

English

Scientific discoveries increasingly rely on complex multimodal reasoning based on information-intensive scientific data and domain-specific expertise. Empowered by expert-level scientific benchmarks, scientific Multimodal Large Language Models (MLLMs) hold the potential to significantly enhance this discovery process in realistic workflows. However, current scientific benchmarks mostly focus on evaluating the knowledge understanding capabilities of MLLMs, leading to an inadequate assessment of their perception and reasoning abilities. To address this gap, we present the Scientists' First Exam (SFE) benchmark, designed to evaluate the scientific cognitive capacities of MLLMs through three interconnected levels: scientific signal perception, scientific attribute understanding, scientific comparative reasoning. Specifically, SFE comprises 830 expert-verified VQA pairs across three question types, spanning 66 multimodal tasks across five high-value disciplines. Extensive experiments reveal that current state-of-the-art GPT-o3 and InternVL-3 achieve only 34.08% and 26.52% on SFE, highlighting significant room for MLLMs to improve in scientific realms. We hope the insights obtained in SFE will facilitate further developments in AI-enhanced scientific discoveries.