MedAgentsBench: Het benchmarken van denkmodellen en agentframeworks voor complexe medische redenering

MedAgentsBench: Benchmarking Thinking Models and Agent Frameworks for Complex Medical Reasoning

March 10, 2025

Auteurs: Xiangru Tang, Daniel Shao, Jiwoong Sohn, Jiapeng Chen, Jiayi Zhang, Jinyu Xiang, Fang Wu, Yilun Zhao, Chenglin Wu, Wenqi Shi, Arman Cohan, Mark Gerstein

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben indrukwekkende prestaties laten zien op bestaande benchmarks voor medische vraag-antwoordtaken. Deze hoge prestaties maken het steeds moeilijker om geavanceerde methoden zinvol te evalueren en te onderscheiden. Wij presenteren MedAgentsBench, een benchmark die zich richt op uitdagende medische vragen die multi-staps klinisch redeneren, diagnoseformulering en behandelplanning vereisen - scenario's waarin huidige modellen nog steeds moeite hebben ondanks hun sterke prestaties op standaardtests. Gebaseerd op zeven gevestigde medische datasets, adresseert onze benchmark drie belangrijke beperkingen in bestaande evaluaties: (1) de prevalentie van eenvoudige vragen waarbij zelfs basismodellen hoge prestaties behalen, (2) inconsistente steekproef- en evaluatieprotocollen tussen studies, en (3) het ontbreken van een systematische analyse van de wisselwerking tussen prestaties, kosten en inferentietijd. Door experimenten met verschillende basismodellen en redeneermethoden tonen we aan dat de nieuwste denkmodellen, DeepSeek R1 en OpenAI o3, uitzonderlijke prestaties leveren in complexe medische redeneertaken. Daarnaast bieden geavanceerde zoekgebaseerde agentmethoden veelbelovende prestatie-kostenverhoudingen in vergelijking met traditionele benaderingen. Onze analyse onthult aanzienlijke prestatieverschillen tussen modelfamilies op complexe vragen en identificeert optimale modelselecties voor verschillende computationele beperkingen. Onze benchmark en evaluatieraamwerk zijn publiekelijk beschikbaar op https://github.com/gersteinlab/medagents-benchmark.

English

Large Language Models (LLMs) have shown impressive performance on existing medical question-answering benchmarks. This high performance makes it increasingly difficult to meaningfully evaluate and differentiate advanced methods. We present MedAgentsBench, a benchmark that focuses on challenging medical questions requiring multi-step clinical reasoning, diagnosis formulation, and treatment planning-scenarios where current models still struggle despite their strong performance on standard tests. Drawing from seven established medical datasets, our benchmark addresses three key limitations in existing evaluations: (1) the prevalence of straightforward questions where even base models achieve high performance, (2) inconsistent sampling and evaluation protocols across studies, and (3) lack of systematic analysis of the interplay between performance, cost, and inference time. Through experiments with various base models and reasoning methods, we demonstrate that the latest thinking models, DeepSeek R1 and OpenAI o3, exhibit exceptional performance in complex medical reasoning tasks. Additionally, advanced search-based agent methods offer promising performance-to-cost ratios compared to traditional approaches. Our analysis reveals substantial performance gaps between model families on complex questions and identifies optimal model selections for different computational constraints. Our benchmark and evaluation framework are publicly available at https://github.com/gersteinlab/medagents-benchmark.