ヘルスエージェントベンチ: 最先端AIエージェントに挑戦するための現実的なエージェント医療環境の統一ベンチマークスイート

要旨

AIエージェントが複雑で長期的な推論をより高度に実行できるようになるにつれ、現実の医療応用への進歩を測定するためには、厳密かつ包括的な評価が不可欠です。本稿では、HealthAgentBenchを紹介します。これは、それぞれ独自の環境を持つ7つのカテゴリにわたる54のエージェント型医療タスクからなるベンチマークスイートです。このベンチマークスイートは、患者の診療経路全体にわたる多様なワークフローと幅広いモダリティを網羅しています。各タスクは、エンドツーエンドの臨床ワークフローを再現するように設計されています。エージェントは、最小限の指示のみを与えられ、生の医療データを探索し、複雑な環境内で動作し、単純なプロンプティングを超えた多段階の解決策を実行する必要があります。最終的なタスク成功率が報告され、HealthAgentBench全体の各エージェントのパフォーマンスを表す、単一で解釈可能な指標を提供します。HealthAgentBenchにおいて最先端エージェントを評価した結果、全体的なタスク成功率は依然として低く、このスイートの難易度の高さが浮き彫りになりました。最も強力かつコスト効率の高いエージェントであるCodex GPT-5.5でも、成功率は約42%にとどまりました。全体的なパフォーマンスに加えて、HealthAgentBenchはタスクカテゴリごとの微妙な強みと弱みを明らかにしました。最先端エージェントは、EHRデータに対する研究モデリングパイプラインを自動的に開発する分野で有望性を示していますが、医用画像処理は特に困難であり、特にClaude Codeモデルでは課題が残る一方、Codex GPT-5.5は新たな能力を示しつつあります。広大な探索空間と構成的推論の要件を組み合わせたタスクは、現在のすべてのエージェントにとって依然として困難です。これらの結果は総合的に、HealthAgentBenchが挑戦的かつ現実的なベンチマークであり、将来の進歩の余地を大きく残していることを示唆しています。本ベンチマークはhttps://github.com/microsoft/HealthAgentBenchにて公開しています。

English

As AI agents become increasingly capable of complex, long-horizon reasoning, rigorous and holistic evaluation is essential for measuring progress toward real-world healthcare applications. We introduce HealthAgentBench, a suite of 54 agentic healthcare tasks across 7 categories each with its unique environment. The benchmark suite spans diverse workflows throughout the patient journey and a broad range of modalities. Each task is designed to replicate an end-to-end clinical workflow: given minimal instructions, an agent must explore raw healthcare data, operate within a complex environment, and execute multi-step solutions that go beyond naive prompting. A final task success rate is reported to provide a single, interpretable metric for HealthAgentBench overall performance for each agent. Evaluating frontier agents on HealthAgentBench, we find that overall task success rate remains low, underscoring the difficulty of the suite. The strongest and the most cost effective agent, Codex GPT-5.5, achieves only approximately 42% success rate. Beyond aggregate performance, HealthAgentBench reveals nuanced strengths and weaknesses across task categories. Frontier agents show promise in automatically developing research modeling pipelines over EHR data, but medical imaging remains especially challenging, particularly for Claude Code models, while Codex GPT-5.5 shows emerging capability. Tasks that combine large search spaces with compositional reasoning requirements remain difficult for all current agents. Together, these results suggest that HealthAgentBench provides a challenging and realistic benchmark with substantial room for future progress. We release our benchmark at https://github.com/microsoft/HealthAgentBench.