HealthAgentBench: Una suite de referencia unificada de entornos sanitarios agentivos realistas para agentes de IA de frontera retadores.

Resumen

A medida que los agentes de IA se vuelven cada vez más capaces de realizar razonamientos complejos a largo plazo, una evaluación rigurosa y holística es esencial para medir el progreso hacia aplicaciones sanitarias reales. Presentamos HealthAgentBench, un conjunto de 54 tareas sanitarias agentivas en 7 categorías, cada una con su entorno único. El conjunto de referencia abarca diversos flujos de trabajo a lo largo del recorrido del paciente y una amplia gama de modalidades. Cada tarea está diseñada para replicar un flujo de trabajo clínico de extremo a extremo: dadas instrucciones mínimas, un agente debe explorar datos sanitarios sin procesar, operar dentro de un entorno complejo y ejecutar soluciones de múltiples pasos que van más allá de la simple indicación inicial. Se reporta una tasa final de éxito de las tareas para proporcionar una métrica única e interpretable del rendimiento general de cada agente en HealthAgentBench. Al evaluar agentes de frontera en HealthAgentBench, encontramos que la tasa de éxito general de las tareas sigue siendo baja, lo que subraya la dificultad del conjunto. El agente más fuerte y rentable, Codex GPT-5.5, solo alcanza aproximadamente un 42% de tasa de éxito. Más allá del rendimiento agregado, HealthAgentBench revela fortalezas y debilidades matizadas entre categorías de tareas. Los agentes de frontera muestran potencial para desarrollar automáticamente flujos de trabajo de modelado de investigación sobre datos de EHR, pero las imágenes médicas siguen siendo particularmente desafiantes, especialmente para los modelos Claude Code, mientras que Codex GPT-5.5 muestra una capacidad emergente. Las tareas que combinan grandes espacios de búsqueda con requisitos de razonamiento compositivo siguen siendo difíciles para todos los agentes actuales. En conjunto, estos resultados sugieren que HealthAgentBench proporciona un punto de referencia desafiante y realista con un margen sustancial para el progreso futuro. Publicamos nuestro punto de referencia en https://github.com/microsoft/HealthAgentBench.

English

As AI agents become increasingly capable of complex, long-horizon reasoning, rigorous and holistic evaluation is essential for measuring progress toward real-world healthcare applications. We introduce HealthAgentBench, a suite of 54 agentic healthcare tasks across 7 categories each with its unique environment. The benchmark suite spans diverse workflows throughout the patient journey and a broad range of modalities. Each task is designed to replicate an end-to-end clinical workflow: given minimal instructions, an agent must explore raw healthcare data, operate within a complex environment, and execute multi-step solutions that go beyond naive prompting. A final task success rate is reported to provide a single, interpretable metric for HealthAgentBench overall performance for each agent. Evaluating frontier agents on HealthAgentBench, we find that overall task success rate remains low, underscoring the difficulty of the suite. The strongest and the most cost effective agent, Codex GPT-5.5, achieves only approximately 42% success rate. Beyond aggregate performance, HealthAgentBench reveals nuanced strengths and weaknesses across task categories. Frontier agents show promise in automatically developing research modeling pipelines over EHR data, but medical imaging remains especially challenging, particularly for Claude Code models, while Codex GPT-5.5 shows emerging capability. Tasks that combine large search spaces with compositional reasoning requirements remain difficult for all current agents. Together, these results suggest that HealthAgentBench provides a challenging and realistic benchmark with substantial room for future progress. We release our benchmark at https://github.com/microsoft/HealthAgentBench.