HealthAgentBench : une suite de benchmarks unifiée d'environnements agentiques réalistes pour les soins de santé, conçue pour mettre au défi les agents d'IA de pointe

Résumé

À mesure que les agents d'IA deviennent capables de raisonnements complexes sur de longs horizons, une évaluation rigoureuse et holistique est essentielle pour mesurer les progrès vers des applications concrètes en santé. Nous présentons HealthAgentBench, une suite de 54 tâches agentiques en santé réparties en 7 catégories, chacune dotée de son propre environnement. Ce banc d'essai couvre divers flux de travail tout au long du parcours patient ainsi qu'une large gamme de modalités. Chaque tâche est conçue pour reproduire un flux de travail clinique de bout en bout : à partir d'instructions minimales, un agent doit explorer des données brutes de santé, opérer dans un environnement complexe et exécuter des solutions en plusieurs étapes qui vont au-delà du simple prompting. Un taux de réussite final des tâches est rapporté afin de fournir une métrique unique et interprétable pour la performance globale de HealthAgentBench pour chaque agent. En évaluant les agents frontières sur HealthAgentBench, nous constatons que le taux de réussite global des tâches reste faible, soulignant la difficulté de la suite. L'agent le plus performant et le plus rentable, Codex GPT-5.5, n'atteint qu'environ 42 % de réussite. Au-delà de la performance agrégée, HealthAgentBench révèle des forces et faiblesses nuancées selon les catégories de tâches. Les agents frontières montrent un potentiel pour développer automatiquement des pipelines de modélisation de recherche sur les données de dossiers médicaux électroniques, mais l'imagerie médicale reste particulièrement difficile, notamment pour les modèles Claude Code, tandis que Codex GPT-5.5 manifeste une capacité émergente. Les tâches combinant de grands espaces de recherche avec des exigences de raisonnement compositionnel demeurent difficiles pour tous les agents actuels. Ensemble, ces résultats suggèrent que HealthAgentBench constitue un banc d'essai exigeant et réaliste, offrant une marge de progression significative. Nous publions notre banc d'essai à l'adresse https://github.com/microsoft/HealthAgentBench.

English

As AI agents become increasingly capable of complex, long-horizon reasoning, rigorous and holistic evaluation is essential for measuring progress toward real-world healthcare applications. We introduce HealthAgentBench, a suite of 54 agentic healthcare tasks across 7 categories each with its unique environment. The benchmark suite spans diverse workflows throughout the patient journey and a broad range of modalities. Each task is designed to replicate an end-to-end clinical workflow: given minimal instructions, an agent must explore raw healthcare data, operate within a complex environment, and execute multi-step solutions that go beyond naive prompting. A final task success rate is reported to provide a single, interpretable metric for HealthAgentBench overall performance for each agent. Evaluating frontier agents on HealthAgentBench, we find that overall task success rate remains low, underscoring the difficulty of the suite. The strongest and the most cost effective agent, Codex GPT-5.5, achieves only approximately 42% success rate. Beyond aggregate performance, HealthAgentBench reveals nuanced strengths and weaknesses across task categories. Frontier agents show promise in automatically developing research modeling pipelines over EHR data, but medical imaging remains especially challenging, particularly for Claude Code models, while Codex GPT-5.5 shows emerging capability. Tasks that combine large search spaces with compositional reasoning requirements remain difficult for all current agents. Together, these results suggest that HealthAgentBench provides a challenging and realistic benchmark with substantial room for future progress. We release our benchmark at https://github.com/microsoft/HealthAgentBench.