HealthAgentBench: единый набор тестовых сценариев реалистичных агентных сред здравоохранения для испытания передовых ИИ-агентов

Аннотация

По мере того как ИИ-агенты становятся всё более способными к сложным долгосрочным рассуждениям, строгая и всесторонняя оценка необходима для измерения прогресса в направлении реальных приложений в здравоохранении. Мы представляем HealthAgentBench — набор из 54 агентных задач в области здравоохранения, охватывающих 7 категорий, каждая со своей уникальной средой. Тестовый набор охватывает разнообразные рабочие процессы на протяжении всего пути пациента, а также широкий спектр модальностей. Каждая задача разработана для воспроизведения сквозного клинического рабочего процесса: при минимальных инструкциях агент должен исследовать необработанные медицинские данные, взаимодействовать в сложной среде и выполнять многошаговые решения, выходящие за рамки наивного промптинга. Итоговый показатель успешности выполнения задач предоставляется в качестве единой интерпретируемой метрики общей производительности HealthAgentBench для каждого агента. Оценка передовых агентов на HealthAgentBench показывает, что общий показатель успешности остаётся низким, что подчёркивает сложность набора. Самый сильный и наиболее экономически эффективный агент, Codex GPT-5.5, достигает лишь приблизительно 42% успешности. Помимо агрегированной производительности, HealthAgentBench выявляет тонкие сильные и слабые стороны в различных категориях задач. Передовые агенты демонстрируют потенциал в автоматической разработке исследовательских конвейеров моделирования на основе данных EHR, однако медицинская визуализация остаётся особенно сложной, особенно для моделей Claude Code, в то время как Codex GPT-5.5 проявляет emerging-способность. Задачи, сочетающие большие пространства поиска с требованиями к композиционному рассуждению, остаются трудными для всех современных агентов. В совокупности эти результаты свидетельствуют о том, что HealthAgentBench представляет собой сложный и реалистичный эталонный тест с существенным пространством для будущего прогресса. Мы публикуем наш тестовый набор по адресу https://github.com/microsoft/HealthAgentBench.

English

As AI agents become increasingly capable of complex, long-horizon reasoning, rigorous and holistic evaluation is essential for measuring progress toward real-world healthcare applications. We introduce HealthAgentBench, a suite of 54 agentic healthcare tasks across 7 categories each with its unique environment. The benchmark suite spans diverse workflows throughout the patient journey and a broad range of modalities. Each task is designed to replicate an end-to-end clinical workflow: given minimal instructions, an agent must explore raw healthcare data, operate within a complex environment, and execute multi-step solutions that go beyond naive prompting. A final task success rate is reported to provide a single, interpretable metric for HealthAgentBench overall performance for each agent. Evaluating frontier agents on HealthAgentBench, we find that overall task success rate remains low, underscoring the difficulty of the suite. The strongest and the most cost effective agent, Codex GPT-5.5, achieves only approximately 42% success rate. Beyond aggregate performance, HealthAgentBench reveals nuanced strengths and weaknesses across task categories. Frontier agents show promise in automatically developing research modeling pipelines over EHR data, but medical imaging remains especially challenging, particularly for Claude Code models, while Codex GPT-5.5 shows emerging capability. Tasks that combine large search spaces with compositional reasoning requirements remain difficult for all current agents. Together, these results suggest that HealthAgentBench provides a challenging and realistic benchmark with substantial room for future progress. We release our benchmark at https://github.com/microsoft/HealthAgentBench.