MedAgentsBench: Benchmarking di Modelli di Pensiero e Framework di Agenti per il Ragionamento Medico Complesso

MedAgentsBench: Benchmarking Thinking Models and Agent Frameworks for Complex Medical Reasoning

March 10, 2025

Autori: Xiangru Tang, Daniel Shao, Jiwoong Sohn, Jiapeng Chen, Jiayi Zhang, Jinyu Xiang, Fang Wu, Yilun Zhao, Chenglin Wu, Wenqi Shi, Arman Cohan, Mark Gerstein

cs.AI

Abstract

I Large Language Models (LLM) hanno dimostrato prestazioni impressionanti nei benchmark esistenti di risposta a domande mediche. Queste elevate prestazioni rendono sempre più difficile valutare e differenziare in modo significativo i metodi avanzati. Presentiamo MedAgentsBench, un benchmark che si concentra su domande mediche complesse che richiedono ragionamento clinico multi-step, formulazione di diagnosi e pianificazione del trattamento - scenari in cui i modelli attuali continuano a lottare nonostante le loro forti prestazioni nei test standard. Attingendo da sette dataset medici consolidati, il nostro benchmark affronta tre limitazioni chiave nelle valutazioni esistenti: (1) la prevalenza di domande semplici in cui anche i modelli di base raggiungono alte prestazioni, (2) protocolli di campionamento e valutazione incoerenti tra gli studi, e (3) la mancanza di un'analisi sistematica dell'interazione tra prestazioni, costo e tempo di inferenza. Attraverso esperimenti con vari modelli di base e metodi di ragionamento, dimostriamo che i modelli di pensiero più recenti, DeepSeek R1 e OpenAI o3, mostrano prestazioni eccezionali in compiti complessi di ragionamento medico. Inoltre, i metodi avanzati basati su agenti di ricerca offrono promettenti rapporti prestazioni-costo rispetto agli approcci tradizionali. La nostra analisi rivela sostanziali differenze di prestazioni tra famiglie di modelli su domande complesse e identifica le selezioni ottimali di modelli per diversi vincoli computazionali. Il nostro benchmark e il framework di valutazione sono disponibili pubblicamente all'indirizzo https://github.com/gersteinlab/medagents-benchmark.

English

Large Language Models (LLMs) have shown impressive performance on existing medical question-answering benchmarks. This high performance makes it increasingly difficult to meaningfully evaluate and differentiate advanced methods. We present MedAgentsBench, a benchmark that focuses on challenging medical questions requiring multi-step clinical reasoning, diagnosis formulation, and treatment planning-scenarios where current models still struggle despite their strong performance on standard tests. Drawing from seven established medical datasets, our benchmark addresses three key limitations in existing evaluations: (1) the prevalence of straightforward questions where even base models achieve high performance, (2) inconsistent sampling and evaluation protocols across studies, and (3) lack of systematic analysis of the interplay between performance, cost, and inference time. Through experiments with various base models and reasoning methods, we demonstrate that the latest thinking models, DeepSeek R1 and OpenAI o3, exhibit exceptional performance in complex medical reasoning tasks. Additionally, advanced search-based agent methods offer promising performance-to-cost ratios compared to traditional approaches. Our analysis reveals substantial performance gaps between model families on complex questions and identifies optimal model selections for different computational constraints. Our benchmark and evaluation framework are publicly available at https://github.com/gersteinlab/medagents-benchmark.