MedCaseReasoning : Évaluation et apprentissage du raisonnement diagnostique à partir de rapports de cas cliniques

MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports

May 16, 2025

Auteurs: Kevin Wu, Eric Wu, Rahul Thapa, Kevin Wei, Angela Zhang, Arvind Suresh, Jacqueline J. Tao, Min Woo Sun, Alejandro Lozano, James Zou

cs.AI

Résumé

Les médecins et les patients utilisent de plus en plus les modèles de langage de grande envergure (LLMs) pour diagnostiquer des cas cliniques. Cependant, contrairement à des domaines tels que les mathématiques ou la programmation, où la justesse peut être objectivement définie par la réponse finale, le diagnostic médical nécessite à la fois que le résultat et le processus de raisonnement soient précis. Actuellement, les benchmarks médicaux largement utilisés, comme MedQA et MMLU, évaluent uniquement l'exactitude de la réponse finale, négligeant la qualité et la fidélité du processus de raisonnement clinique. Pour remédier à cette limitation, nous introduisons MedCaseReasoning, le premier ensemble de données en libre accès pour évaluer les LLMs sur leur capacité à s'aligner avec le raisonnement diagnostique rédigé par des cliniciens. L'ensemble de données comprend 14 489 cas de questions et réponses diagnostiques, chacun accompagné de déclarations de raisonnement détaillées issues de rapports de cas médicaux en libre accès. Nous évaluons les LLMs de raisonnement les plus avancés sur MedCaseReasoning et identifions des lacunes significatives dans leurs diagnostics et leur raisonnement : par exemple, le modèle open-source le plus performant, DeepSeek-R1, n'atteint qu'une précision diagnostique de 48 % en 10 essais et ne mentionne que 64 % des déclarations de raisonnement des cliniciens (rappel). Cependant, nous démontrons que l'affinage des LLMs sur les traces de raisonnement issues de MedCaseReasoning améliore significativement la précision diagnostique et le rappel du raisonnement clinique, avec des gains relatifs moyens de 29 % et 41 %, respectivement. L'ensemble de données en libre accès, le code et les modèles sont disponibles à l'adresse suivante : https://github.com/kevinwu23/Stanford-MedCaseReasoning.

English

Doctors and patients alike increasingly use Large Language Models (LLMs) to diagnose clinical cases. However, unlike domains such as math or coding, where correctness can be objectively defined by the final answer, medical diagnosis requires both the outcome and the reasoning process to be accurate. Currently, widely used medical benchmarks like MedQA and MMLU assess only accuracy in the final answer, overlooking the quality and faithfulness of the clinical reasoning process. To address this limitation, we introduce MedCaseReasoning, the first open-access dataset for evaluating LLMs on their ability to align with clinician-authored diagnostic reasoning. The dataset includes 14,489 diagnostic question-and-answer cases, each paired with detailed reasoning statements derived from open-access medical case reports. We evaluate state-of-the-art reasoning LLMs on MedCaseReasoning and find significant shortcomings in their diagnoses and reasoning: for instance, the top-performing open-source model, DeepSeek-R1, achieves only 48% 10-shot diagnostic accuracy and mentions only 64% of the clinician reasoning statements (recall). However, we demonstrate that fine-tuning LLMs on the reasoning traces derived from MedCaseReasoning significantly improves diagnostic accuracy and clinical reasoning recall by an average relative gain of 29% and 41%, respectively. The open-source dataset, code, and models are available at https://github.com/kevinwu23/Stanford-MedCaseReasoning.