HealthAgentBench: 최첨단 AI 에이전트의 도전을 위한 현실적인 의료 에이전트 환경의 통합 벤치마크 스위트

초록

AI 에이전트가 복잡하고 장기적인 추론을 수행할 수 있는 능력이 향상됨에 따라, 실제 의료 응용 프로그램으로의 진전을 측정하기 위해서는 엄격하고 총체적인 평가가 필수적입니다. 우리는 각각 고유한 환경을 가진 7개 범주에 걸친 54개의 에이전트 기반 의료 작업 세트인 HealthAgentBench를 소개합니다. 이 벤치마크 스위트는 환자 여정 전반에 걸친 다양한 워크플로우와 광범위한 양식(modality)을 포괄합니다. 각 작업은 종단 간 임상 워크플로우를 재현하도록 설계되었습니다. 즉, 최소한의 지침만 주어졌을 때 에이전트는 원시 의료 데이터를 탐색하고, 복잡한 환경 내에서 작동하며, 단순한 프롬프팅을 넘어서는 다단계 솔루션을 실행해야 합니다. 최종 작업 성공률을 보고하여 HealthAgentBench 전반에 대한 각 에이전트의 성능을 단일하고 해석 가능한 지표로 제공합니다. HealthAgentBench에서 최첨단 에이전트를 평가한 결과, 전반적인 작업 성공률이 여전히 낮아 이 스위트의 난이도를 강조합니다. 가장 강력하고 비용 효율적인 에이전트인 Codex GPT-5.5조차 약 42%의 성공률을 기록했습니다. 종합적인 성능 외에도 HealthAgentBench는 작업 범주별로 미묘한 강점과 약점을 드러냅니다. 최첨단 에이전트는 EHR 데이터에 대한 연구 모델링 파이프라인을 자동으로 개발하는 데 가능성을 보이지만, 특히 Claude Code 모델의 경우 의료 영상 처리가 여전히 어려운 과제로 남아 있으며, Codex GPT-5.5는 새로운 능력을 보여주고 있습니다. 큰 검색 공간과 구성적 추론 요구 사항을 결합한 작업은 현재 모든 에이전트에게 어려운 과제로 남아 있습니다. 이러한 결과는 HealthAgentBench가 향후 상당한 발전 여지가 있는 도전적이고 현실적인 벤치마크를 제공함을 시사합니다. 당사는 벤치마크를 https://github.com/microsoft/HealthAgentBench에서 공개합니다.

English

As AI agents become increasingly capable of complex, long-horizon reasoning, rigorous and holistic evaluation is essential for measuring progress toward real-world healthcare applications. We introduce HealthAgentBench, a suite of 54 agentic healthcare tasks across 7 categories each with its unique environment. The benchmark suite spans diverse workflows throughout the patient journey and a broad range of modalities. Each task is designed to replicate an end-to-end clinical workflow: given minimal instructions, an agent must explore raw healthcare data, operate within a complex environment, and execute multi-step solutions that go beyond naive prompting. A final task success rate is reported to provide a single, interpretable metric for HealthAgentBench overall performance for each agent. Evaluating frontier agents on HealthAgentBench, we find that overall task success rate remains low, underscoring the difficulty of the suite. The strongest and the most cost effective agent, Codex GPT-5.5, achieves only approximately 42% success rate. Beyond aggregate performance, HealthAgentBench reveals nuanced strengths and weaknesses across task categories. Frontier agents show promise in automatically developing research modeling pipelines over EHR data, but medical imaging remains especially challenging, particularly for Claude Code models, while Codex GPT-5.5 shows emerging capability. Tasks that combine large search spaces with compositional reasoning requirements remain difficult for all current agents. Together, these results suggest that HealthAgentBench provides a challenging and realistic benchmark with substantial room for future progress. We release our benchmark at https://github.com/microsoft/HealthAgentBench.