MedAgentsBench: Avaliação de Modelos de Pensamento e Estruturas de Agentes para Raciocínio Médico Complexo

MedAgentsBench: Benchmarking Thinking Models and Agent Frameworks for Complex Medical Reasoning

March 10, 2025

Autores: Xiangru Tang, Daniel Shao, Jiwoong Sohn, Jiapeng Chen, Jiayi Zhang, Jinyu Xiang, Fang Wu, Yilun Zhao, Chenglin Wu, Wenqi Shi, Arman Cohan, Mark Gerstein

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado desempenho impressionante em benchmarks existentes de perguntas e respostas médicas. Esse alto desempenho torna cada vez mais difícil avaliar e diferenciar métodos avançados de forma significativa. Apresentamos o MedAgentsBench, um benchmark que se concentra em questões médicas desafiadoras que exigem raciocínio clínico em múltiplas etapas, formulação de diagnósticos e planejamento de tratamentos — cenários onde os modelos atuais ainda enfrentam dificuldades, apesar de seu forte desempenho em testes padrão. Baseando-se em sete conjuntos de dados médicos estabelecidos, nosso benchmark aborda três limitações principais nas avaliações existentes: (1) a prevalência de perguntas diretas, onde até mesmo modelos básicos alcançam alto desempenho, (2) protocolos de amostragem e avaliação inconsistentes entre os estudos, e (3) a falta de análise sistemática da interação entre desempenho, custo e tempo de inferência. Por meio de experimentos com vários modelos básicos e métodos de raciocínio, demonstramos que os modelos de pensamento mais recentes, DeepSeek R1 e OpenAI o3, exibem desempenho excepcional em tarefas complexas de raciocínio médico. Além disso, métodos avançados baseados em agentes de busca oferecem relações promissoras entre desempenho e custo em comparação com abordagens tradicionais. Nossa análise revela lacunas substanciais de desempenho entre famílias de modelos em questões complexas e identifica seleções ótimas de modelos para diferentes restrições computacionais. Nosso benchmark e estrutura de avaliação estão disponíveis publicamente em https://github.com/gersteinlab/medagents-benchmark.

English

Large Language Models (LLMs) have shown impressive performance on existing medical question-answering benchmarks. This high performance makes it increasingly difficult to meaningfully evaluate and differentiate advanced methods. We present MedAgentsBench, a benchmark that focuses on challenging medical questions requiring multi-step clinical reasoning, diagnosis formulation, and treatment planning-scenarios where current models still struggle despite their strong performance on standard tests. Drawing from seven established medical datasets, our benchmark addresses three key limitations in existing evaluations: (1) the prevalence of straightforward questions where even base models achieve high performance, (2) inconsistent sampling and evaluation protocols across studies, and (3) lack of systematic analysis of the interplay between performance, cost, and inference time. Through experiments with various base models and reasoning methods, we demonstrate that the latest thinking models, DeepSeek R1 and OpenAI o3, exhibit exceptional performance in complex medical reasoning tasks. Additionally, advanced search-based agent methods offer promising performance-to-cost ratios compared to traditional approaches. Our analysis reveals substantial performance gaps between model families on complex questions and identifies optimal model selections for different computational constraints. Our benchmark and evaluation framework are publicly available at https://github.com/gersteinlab/medagents-benchmark.