HealthAgentBench: Eine einheitliche Benchmark-Suite realistischer agentischer Gesundheitsumgebungen für anspruchsvolle Frontier-KI-Agenten

Zusammenfassung

Da KI-Agenten zunehmend zu komplexen langfristigen Überlegungen fähig werden, ist eine strenge und ganzheitliche Bewertung unerlässlich, um Fortschritte in Richtung realer medizinischer Anwendungen zu messen. Wir stellen HealthAgentBench vor, eine Sammlung von 54 agentischen Aufgaben im Gesundheitswesen aus 7 Kategorien, jede mit ihrer eigenen Umgebung. Die Benchmark-Suite umfasst unterschiedliche Arbeitsabläufe während des gesamten Patientenpfads sowie ein breites Spektrum an Modalitäten. Jede Aufgabe ist darauf ausgelegt, einen durchgängigen klinischen Arbeitsablauf abzubilden: Bei minimalen Anweisungen muss ein Agent rohe Gesundheitsdaten erkunden, in einer komplexen Umgebung operieren und mehrstufige Lösungen ausführen, die über naives Prompting hinausgehen. Als einheitliche, interpretierbare Kennzahl für die Gesamtleistung jedes Agenten in HealthAgentBench wird eine finale Aufgabenerfolgsrate angegeben. Bei der Bewertung von Spitzen-KI-Agenten auf HealthAgentBench stellen wir fest, dass die Gesamterfolgsquote der Aufgaben weiterhin niedrig ist, was die Schwierigkeit der Suite unterstreicht. Der stärkste und kosteneffizienteste Agent, Codex GPT-5.5, erreicht nur etwa eine Erfolgsrate von 42 %. Über die aggregierte Leistung hinaus zeigt HealthAgentBench differenzierte Stärken und Schwächen in den Aufgabenkategorien auf. Spitzen-KI-Agenten zeigen vielversprechende Ansätze bei der automatischen Entwicklung von Forschungsmodellierungs-Pipelines auf Basis von EHR-Daten, jedoch bleibt die medizinische Bildgebung besonders herausfordernd, insbesondere für Claude-Code-Modelle, während Codex GPT-5.5 eine aufkommende Fähigkeit aufweist. Aufgaben, die große Suchräume mit kompositionellen Denkanforderungen kombinieren, bleiben für alle derzeitigen Agenten schwierig. Zusammengenommen deuten diese Ergebnisse darauf hin, dass HealthAgentBench einen anspruchsvollen und realistischen Benchmark mit erheblichem Raum für zukünftige Fortschritte darstellt. Wir veröffentlichen unseren Benchmark unter https://github.com/microsoft/HealthAgentBench.

English

As AI agents become increasingly capable of complex, long-horizon reasoning, rigorous and holistic evaluation is essential for measuring progress toward real-world healthcare applications. We introduce HealthAgentBench, a suite of 54 agentic healthcare tasks across 7 categories each with its unique environment. The benchmark suite spans diverse workflows throughout the patient journey and a broad range of modalities. Each task is designed to replicate an end-to-end clinical workflow: given minimal instructions, an agent must explore raw healthcare data, operate within a complex environment, and execute multi-step solutions that go beyond naive prompting. A final task success rate is reported to provide a single, interpretable metric for HealthAgentBench overall performance for each agent. Evaluating frontier agents on HealthAgentBench, we find that overall task success rate remains low, underscoring the difficulty of the suite. The strongest and the most cost effective agent, Codex GPT-5.5, achieves only approximately 42% success rate. Beyond aggregate performance, HealthAgentBench reveals nuanced strengths and weaknesses across task categories. Frontier agents show promise in automatically developing research modeling pipelines over EHR data, but medical imaging remains especially challenging, particularly for Claude Code models, while Codex GPT-5.5 shows emerging capability. Tasks that combine large search spaces with compositional reasoning requirements remain difficult for all current agents. Together, these results suggest that HealthAgentBench provides a challenging and realistic benchmark with substantial room for future progress. We release our benchmark at https://github.com/microsoft/HealthAgentBench.