Premier Examen des Scientifiques : Exploration des Capacités Cognitives des MLLM à travers la Perception, la Compréhension et le Raisonnement

Résumé

Les découvertes scientifiques reposent de plus en plus sur un raisonnement multimodal complexe, basé sur des données scientifiques riches en informations et une expertise spécifique à un domaine. Renforcés par des benchmarks scientifiques de niveau expert, les modèles de langage multimodaux (MLLMs) scientifiques ont le potentiel d'améliorer significativement ce processus de découverte dans des workflows réalistes. Cependant, les benchmarks scientifiques actuels se concentrent principalement sur l'évaluation des capacités de compréhension des connaissances des MLLMs, ce qui conduit à une évaluation insuffisante de leurs capacités de perception et de raisonnement. Pour combler cette lacune, nous présentons le benchmark "Scientists' First Exam" (SFE), conçu pour évaluer les capacités cognitives scientifiques des MLLMs à travers trois niveaux interconnectés : la perception des signaux scientifiques, la compréhension des attributs scientifiques, et le raisonnement comparatif scientifique. Plus précisément, SFE comprend 830 paires de questions-réponses vérifiées par des experts, couvrant trois types de questions et 66 tâches multimodales réparties dans cinq disciplines à haute valeur ajoutée. Des expériences approfondies révèlent que les modèles actuels de pointe, GPT-3 et InternVL-3, n'atteignent respectivement que 34,08 % et 26,52 % sur SFE, mettant en évidence un potentiel d'amélioration significatif pour les MLLMs dans les domaines scientifiques. Nous espérons que les insights obtenus grâce à SFE faciliteront des avancées supplémentaires dans les découvertes scientifiques assistées par l'IA.

English

Scientific discoveries increasingly rely on complex multimodal reasoning based on information-intensive scientific data and domain-specific expertise. Empowered by expert-level scientific benchmarks, scientific Multimodal Large Language Models (MLLMs) hold the potential to significantly enhance this discovery process in realistic workflows. However, current scientific benchmarks mostly focus on evaluating the knowledge understanding capabilities of MLLMs, leading to an inadequate assessment of their perception and reasoning abilities. To address this gap, we present the Scientists' First Exam (SFE) benchmark, designed to evaluate the scientific cognitive capacities of MLLMs through three interconnected levels: scientific signal perception, scientific attribute understanding, scientific comparative reasoning. Specifically, SFE comprises 830 expert-verified VQA pairs across three question types, spanning 66 multimodal tasks across five high-value disciplines. Extensive experiments reveal that current state-of-the-art GPT-o3 and InternVL-3 achieve only 34.08% and 26.52% on SFE, highlighting significant room for MLLMs to improve in scientific realms. We hope the insights obtained in SFE will facilitate further developments in AI-enhanced scientific discoveries.

Premier Examen des Scientifiques : Exploration des Capacités Cognitives des MLLM à travers la Perception, la Compréhension et le Raisonnement

Scientists' First Exam: Probing Cognitive Abilities of MLLM via Perception, Understanding, and Reasoning

Résumé

Support