MedAgentsBench: 複雑な医療推論のための思考モデルとエージェントフレームワークのベンチマーキング

MedAgentsBench: Benchmarking Thinking Models and Agent Frameworks for Complex Medical Reasoning

March 10, 2025

著者: Xiangru Tang, Daniel Shao, Jiwoong Sohn, Jiapeng Chen, Jiayi Zhang, Jinyu Xiang, Fang Wu, Yilun Zhao, Chenglin Wu, Wenqi Shi, Arman Cohan, Mark Gerstein

cs.AI

要旨

大規模言語モデル（LLM）は、既存の医療質問応答ベンチマークにおいて印象的な性能を示しています。この高い性能により、先進的な手法を有意義に評価し、区別することがますます困難になっています。本論文では、多段階の臨床推論、診断の立案、治療計画の策定を必要とする難易度の高い医療質問に焦点を当てたベンチマーク「MedAgentsBench」を提案します。これらのシナリオでは、標準テストでの強力な性能にもかかわらず、現在のモデルは依然として苦戦しています。7つの確立された医療データセットを基に、本ベンチマークは既存の評価における3つの主要な課題に対処します：（1）ベースモデルでも高い性能を達成する単純な質問が多く存在すること、（2）研究間で一貫性のないサンプリングと評価プロトコル、（3）性能、コスト、推論時間の相互作用に関する体系的な分析の欠如です。様々なベースモデルと推論手法を用いた実験を通じて、最新の思考モデルであるDeepSeek R1とOpenAI o3が、複雑な医療推論タスクで卓越した性能を示すことを実証しました。さらに、従来のアプローチと比較して、高度な検索ベースのエージェント手法は有望な性能対コスト比を提供します。我々の分析は、複雑な質問におけるモデルファミリー間の大きな性能差を明らかにし、異なる計算制約に対する最適なモデル選択を特定します。本ベンチマークと評価フレームワークは、https://github.com/gersteinlab/medagents-benchmark で公開されています。

English

Large Language Models (LLMs) have shown impressive performance on existing medical question-answering benchmarks. This high performance makes it increasingly difficult to meaningfully evaluate and differentiate advanced methods. We present MedAgentsBench, a benchmark that focuses on challenging medical questions requiring multi-step clinical reasoning, diagnosis formulation, and treatment planning-scenarios where current models still struggle despite their strong performance on standard tests. Drawing from seven established medical datasets, our benchmark addresses three key limitations in existing evaluations: (1) the prevalence of straightforward questions where even base models achieve high performance, (2) inconsistent sampling and evaluation protocols across studies, and (3) lack of systematic analysis of the interplay between performance, cost, and inference time. Through experiments with various base models and reasoning methods, we demonstrate that the latest thinking models, DeepSeek R1 and OpenAI o3, exhibit exceptional performance in complex medical reasoning tasks. Additionally, advanced search-based agent methods offer promising performance-to-cost ratios compared to traditional approaches. Our analysis reveals substantial performance gaps between model families on complex questions and identifies optimal model selections for different computational constraints. Our benchmark and evaluation framework are publicly available at https://github.com/gersteinlab/medagents-benchmark.