MedAgentsBench : Évaluation comparative des modèles de pensée et des cadres d'agents pour le raisonnement médical complexe

MedAgentsBench: Benchmarking Thinking Models and Agent Frameworks for Complex Medical Reasoning

March 10, 2025

Auteurs: Xiangru Tang, Daniel Shao, Jiwoong Sohn, Jiapeng Chen, Jiayi Zhang, Jinyu Xiang, Fang Wu, Yilun Zhao, Chenglin Wu, Wenqi Shi, Arman Cohan, Mark Gerstein

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont démontré des performances impressionnantes sur les benchmarks existants de questions-réponses médicales. Cette performance élevée rend de plus en plus difficile l'évaluation et la différenciation significative des méthodes avancées. Nous présentons MedAgentsBench, un benchmark qui se concentre sur des questions médicales complexes nécessitant un raisonnement clinique en plusieurs étapes, la formulation de diagnostics et la planification de traitements - des scénarios où les modèles actuels continuent de rencontrer des difficultés malgré leurs solides performances sur les tests standard. Tiré de sept ensembles de données médicales établis, notre benchmark aborde trois limitations clés des évaluations existantes : (1) la prévalence de questions simples où même les modèles de base obtiennent des performances élevées, (2) des protocoles d'échantillonnage et d'évaluation incohérents entre les études, et (3) l'absence d'analyse systématique de l'interaction entre performance, coût et temps d'inférence. À travers des expériences avec divers modèles de base et méthodes de raisonnement, nous démontrons que les derniers modèles de pensée, DeepSeek R1 et OpenAI o3, affichent des performances exceptionnelles dans les tâches complexes de raisonnement médical. De plus, les méthodes avancées d'agents basés sur la recherche offrent des ratios performance-coût prometteurs par rapport aux approches traditionnelles. Notre analyse révèle des écarts de performance substantiels entre les familles de modèles sur des questions complexes et identifie les sélections de modèles optimales pour différentes contraintes computationnelles. Notre benchmark et cadre d'évaluation sont disponibles publiquement à l'adresse https://github.com/gersteinlab/medagents-benchmark.

English

Large Language Models (LLMs) have shown impressive performance on existing medical question-answering benchmarks. This high performance makes it increasingly difficult to meaningfully evaluate and differentiate advanced methods. We present MedAgentsBench, a benchmark that focuses on challenging medical questions requiring multi-step clinical reasoning, diagnosis formulation, and treatment planning-scenarios where current models still struggle despite their strong performance on standard tests. Drawing from seven established medical datasets, our benchmark addresses three key limitations in existing evaluations: (1) the prevalence of straightforward questions where even base models achieve high performance, (2) inconsistent sampling and evaluation protocols across studies, and (3) lack of systematic analysis of the interplay between performance, cost, and inference time. Through experiments with various base models and reasoning methods, we demonstrate that the latest thinking models, DeepSeek R1 and OpenAI o3, exhibit exceptional performance in complex medical reasoning tasks. Additionally, advanced search-based agent methods offer promising performance-to-cost ratios compared to traditional approaches. Our analysis reveals substantial performance gaps between model families on complex questions and identifies optimal model selections for different computational constraints. Our benchmark and evaluation framework are publicly available at https://github.com/gersteinlab/medagents-benchmark.