MedAgentsBench: Бенчмарк для оценки моделей мышления и фреймворков агентов в контексте сложного медицинского анализа

MedAgentsBench: Benchmarking Thinking Models and Agent Frameworks for Complex Medical Reasoning

March 10, 2025

Авторы: Xiangru Tang, Daniel Shao, Jiwoong Sohn, Jiapeng Chen, Jiayi Zhang, Jinyu Xiang, Fang Wu, Yilun Zhao, Chenglin Wu, Wenqi Shi, Arman Cohan, Mark Gerstein

cs.AI

Аннотация

Крупные языковые модели (LLMs) продемонстрировали впечатляющие результаты на существующих тестах для ответов на медицинские вопросы. Такая высокая производительность делает всё более сложным осмысленное оценивание и дифференциацию передовых методов. Мы представляем MedAgentsBench — эталонный тест, который фокусируется на сложных медицинских вопросах, требующих многошагового клинического рассуждения, формулирования диагноза и планирования лечения — сценариях, в которых современные модели всё ещё испытывают трудности, несмотря на их сильные результаты в стандартных тестах. Используя данные из семи авторитетных медицинских наборов данных, наш тест устраняет три ключевых ограничения существующих оценок: (1) преобладание простых вопросов, на которых даже базовые модели показывают высокие результаты, (2) несогласованные протоколы выборки и оценки в различных исследованиях и (3) отсутствие систематического анализа взаимосвязи между производительностью, стоимостью и временем вывода. В экспериментах с различными базовыми моделями и методами рассуждения мы показываем, что последние модели мышления, DeepSeek R1 и OpenAI o3, демонстрируют исключительную производительность в сложных задачах медицинского рассуждения. Кроме того, передовые методы на основе поисковых агентов предлагают перспективные соотношения производительности к стоимости по сравнению с традиционными подходами. Наш анализ выявляет значительные разрывы в производительности между семействами моделей на сложных вопросах и определяет оптимальный выбор моделей для различных вычислительных ограничений. Наш эталонный тест и структура оценки доступны публично по адресу https://github.com/gersteinlab/medagents-benchmark.

English

Large Language Models (LLMs) have shown impressive performance on existing medical question-answering benchmarks. This high performance makes it increasingly difficult to meaningfully evaluate and differentiate advanced methods. We present MedAgentsBench, a benchmark that focuses on challenging medical questions requiring multi-step clinical reasoning, diagnosis formulation, and treatment planning-scenarios where current models still struggle despite their strong performance on standard tests. Drawing from seven established medical datasets, our benchmark addresses three key limitations in existing evaluations: (1) the prevalence of straightforward questions where even base models achieve high performance, (2) inconsistent sampling and evaluation protocols across studies, and (3) lack of systematic analysis of the interplay between performance, cost, and inference time. Through experiments with various base models and reasoning methods, we demonstrate that the latest thinking models, DeepSeek R1 and OpenAI o3, exhibit exceptional performance in complex medical reasoning tasks. Additionally, advanced search-based agent methods offer promising performance-to-cost ratios compared to traditional approaches. Our analysis reveals substantial performance gaps between model families on complex questions and identifies optimal model selections for different computational constraints. Our benchmark and evaluation framework are publicly available at https://github.com/gersteinlab/medagents-benchmark.