Primer Examen de los Científicos: Evaluación de las Habilidades Cognitivas de los MLLM a través de la Percepción, Comprensión y Razonamiento

Scientists' First Exam: Probing Cognitive Abilities of MLLM via Perception, Understanding, and Reasoning

June 12, 2025

Autores: Yuhao Zhou, Yiheng Wang, Xuming He, Ruoyao Xiao, Zhiwei Li, Qiantai Feng, Zijie Guo, Yuejin Yang, Hao Wu, Wenxuan Huang, Jiaqi Wei, Dan Si, Xiuqi Yao, Jia Bu, Haiwen Huang, Tianfan Fu, Shixiang Tang, Ben Fei, Dongzhan Zhou, Fenghua Ling, Yan Lu, Siqi Sun, Chenhui Li, Guanjie Zheng, Jiancheng Lv, Wenlong Zhang, Lei Bai

cs.AI

Resumen

Los descubrimientos científicos dependen cada vez más de un razonamiento multimodal complejo basado en datos científicos intensivos en información y experiencia específica del dominio. Potenciados por puntos de referencia científicos de nivel experto, los Modelos de Lenguaje Multimodal (MLLMs) científicos tienen el potencial de mejorar significativamente este proceso de descubrimiento en flujos de trabajo realistas. Sin embargo, los puntos de referencia científicos actuales se centran principalmente en evaluar las capacidades de comprensión del conocimiento de los MLLMs, lo que lleva a una evaluación insuficiente de sus habilidades de percepción y razonamiento. Para abordar esta brecha, presentamos el punto de referencia "Examen Inicial de los Científicos" (SFE), diseñado para evaluar las capacidades cognitivas científicas de los MLLMs a través de tres niveles interconectados: percepción de señales científicas, comprensión de atributos científicos y razonamiento comparativo científico. Específicamente, SFE comprende 830 pares de preguntas y respuestas verificadas por expertos en tres tipos de preguntas, abarcando 66 tareas multimodales en cinco disciplinas de alto valor. Experimentos extensos revelan que los modelos actuales de última generación, GPT-3 e InternVL-3, logran solo un 34.08% y un 26.52% en SFE, lo que destaca un margen significativo de mejora para los MLLMs en ámbitos científicos. Esperamos que las perspectivas obtenidas en SFE faciliten avances adicionales en descubrimientos científicos potenciados por IA.

English

Scientific discoveries increasingly rely on complex multimodal reasoning based on information-intensive scientific data and domain-specific expertise. Empowered by expert-level scientific benchmarks, scientific Multimodal Large Language Models (MLLMs) hold the potential to significantly enhance this discovery process in realistic workflows. However, current scientific benchmarks mostly focus on evaluating the knowledge understanding capabilities of MLLMs, leading to an inadequate assessment of their perception and reasoning abilities. To address this gap, we present the Scientists' First Exam (SFE) benchmark, designed to evaluate the scientific cognitive capacities of MLLMs through three interconnected levels: scientific signal perception, scientific attribute understanding, scientific comparative reasoning. Specifically, SFE comprises 830 expert-verified VQA pairs across three question types, spanning 66 multimodal tasks across five high-value disciplines. Extensive experiments reveal that current state-of-the-art GPT-o3 and InternVL-3 achieve only 34.08% and 26.52% on SFE, highlighting significant room for MLLMs to improve in scientific realms. We hope the insights obtained in SFE will facilitate further developments in AI-enhanced scientific discoveries.