科学者たちの最初の試験：知覚、理解、推論を通じたMLLMの認知能力の探求

要旨

科学的発見は、情報集約型の科学データとドメイン固有の専門知識に基づく複雑なマルチモーダル推論にますます依存するようになっている。専門家レベルの科学ベンチマークによって強化された科学的多モーダル大規模言語モデル（MLLMs）は、現実的なワークフローにおけるこの発見プロセスを大幅に向上させる可能性を秘めている。しかし、現在の科学ベンチマークは主にMLLMsの知識理解能力を評価することに焦点を当てており、その知覚と推論能力の評価が不十分である。このギャップを埋めるため、我々は科学者の初級試験（SFE）ベンチマークを提案する。SFEは、科学的信号の知覚、科学的属性の理解、科学的比較推論という3つの相互に関連するレベルを通じて、MLLMsの科学的認知能力を評価するように設計されている。具体的には、SFEは5つの高価値分野にわたる66のマルチモーダルタスクをカバーする830の専門家検証済みのVQAペアで構成されている。広範な実験により、現在の最先端モデルであるGPT-3とInternVL-3がSFEでそれぞれ34.08%と26.52%しか達成できないことが明らかになり、MLLMsが科学的領域で改善する余地が大きいことが強調された。SFEで得られた知見が、AIによる科学的発見のさらなる発展に寄与することを期待する。

English

Scientific discoveries increasingly rely on complex multimodal reasoning based on information-intensive scientific data and domain-specific expertise. Empowered by expert-level scientific benchmarks, scientific Multimodal Large Language Models (MLLMs) hold the potential to significantly enhance this discovery process in realistic workflows. However, current scientific benchmarks mostly focus on evaluating the knowledge understanding capabilities of MLLMs, leading to an inadequate assessment of their perception and reasoning abilities. To address this gap, we present the Scientists' First Exam (SFE) benchmark, designed to evaluate the scientific cognitive capacities of MLLMs through three interconnected levels: scientific signal perception, scientific attribute understanding, scientific comparative reasoning. Specifically, SFE comprises 830 expert-verified VQA pairs across three question types, spanning 66 multimodal tasks across five high-value disciplines. Extensive experiments reveal that current state-of-the-art GPT-o3 and InternVL-3 achieve only 34.08% and 26.52% on SFE, highlighting significant room for MLLMs to improve in scientific realms. We hope the insights obtained in SFE will facilitate further developments in AI-enhanced scientific discoveries.

科学者たちの最初の試験：知覚、理解、推論を通じたMLLMの認知能力の探求

Scientists' First Exam: Probing Cognitive Abilities of MLLM via Perception, Understanding, and Reasoning

要旨

Support