MedCaseReasoning: Avaliação e aprendizado do raciocínio diagnóstico a partir de relatos de casos clínicos

MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports

May 16, 2025

Autores: Kevin Wu, Eric Wu, Rahul Thapa, Kevin Wei, Angela Zhang, Arvind Suresh, Jacqueline J. Tao, Min Woo Sun, Alejandro Lozano, James Zou

cs.AI

Resumo

Médicos e pacientes estão utilizando cada vez mais Modelos de Linguagem de Grande Escala (LLMs) para diagnosticar casos clínicos. No entanto, ao contrário de domínios como matemática ou programação, onde a correção pode ser definida objetivamente pela resposta final, o diagnóstico médico exige que tanto o resultado quanto o processo de raciocínio sejam precisos. Atualmente, benchmarks médicos amplamente utilizados, como MedQA e MMLU, avaliam apenas a precisão da resposta final, negligenciando a qualidade e a fidelidade do processo de raciocínio clínico. Para abordar essa limitação, introduzimos o MedCaseReasoning, o primeiro conjunto de dados de acesso aberto para avaliar LLMs em sua capacidade de se alinhar ao raciocínio diagnóstico elaborado por clínicos. O conjunto de dados inclui 14.489 casos de perguntas e respostas diagnósticas, cada um acompanhado de declarações detalhadas de raciocínio derivadas de relatos de casos médicos de acesso aberto. Avaliamos LLMs de raciocínio de última geração no MedCaseReasoning e encontramos deficiências significativas em seus diagnósticos e raciocínios: por exemplo, o modelo de código aberto de melhor desempenho, DeepSeek-R1, alcança apenas 48% de precisão diagnóstica em 10-shot e menciona apenas 64% das declarações de raciocínio clínico (recall). No entanto, demonstramos que o ajuste fino de LLMs nos traços de raciocínio derivados do MedCaseReasoning melhora significativamente a precisão diagnóstica e o recall do raciocínio clínico, com ganhos relativos médios de 29% e 41%, respectivamente. O conjunto de dados de código aberto, o código e os modelos estão disponíveis em https://github.com/kevinwu23/Stanford-MedCaseReasoning.

English

Doctors and patients alike increasingly use Large Language Models (LLMs) to diagnose clinical cases. However, unlike domains such as math or coding, where correctness can be objectively defined by the final answer, medical diagnosis requires both the outcome and the reasoning process to be accurate. Currently, widely used medical benchmarks like MedQA and MMLU assess only accuracy in the final answer, overlooking the quality and faithfulness of the clinical reasoning process. To address this limitation, we introduce MedCaseReasoning, the first open-access dataset for evaluating LLMs on their ability to align with clinician-authored diagnostic reasoning. The dataset includes 14,489 diagnostic question-and-answer cases, each paired with detailed reasoning statements derived from open-access medical case reports. We evaluate state-of-the-art reasoning LLMs on MedCaseReasoning and find significant shortcomings in their diagnoses and reasoning: for instance, the top-performing open-source model, DeepSeek-R1, achieves only 48% 10-shot diagnostic accuracy and mentions only 64% of the clinician reasoning statements (recall). However, we demonstrate that fine-tuning LLMs on the reasoning traces derived from MedCaseReasoning significantly improves diagnostic accuracy and clinical reasoning recall by an average relative gain of 29% and 41%, respectively. The open-source dataset, code, and models are available at https://github.com/kevinwu23/Stanford-MedCaseReasoning.