MedCaseReasoning: Bewertung und Erlernen diagnostischer Denkprozesse aus klinischen Fallberichten

MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports

May 16, 2025

Autoren: Kevin Wu, Eric Wu, Rahul Thapa, Kevin Wei, Angela Zhang, Arvind Suresh, Jacqueline J. Tao, Min Woo Sun, Alejandro Lozano, James Zou

cs.AI

Zusammenfassung

Ärzte und Patienten nutzen zunehmend Large Language Models (LLMs), um klinische Fälle zu diagnostizieren. Im Gegensatz zu Bereichen wie Mathematik oder Programmierung, bei denen die Korrektheit objektiv durch die endgültige Antwort definiert werden kann, erfordert die medizinische Diagnose sowohl das Ergebnis als auch den Denkprozess, präzise zu sein. Derzeit bewerten weit verbreitete medizinische Benchmarks wie MedQA und MMLU lediglich die Genauigkeit der endgültigen Antwort und übersehen dabei die Qualität und Zuverlässigkeit des klinischen Denkprozesses. Um diese Einschränkung zu überwinden, stellen wir MedCaseReasoning vor, den ersten frei zugänglichen Datensatz zur Bewertung von LLMs hinsichtlich ihrer Fähigkeit, sich mit von Klinikern verfassten diagnostischen Denkprozessen in Einklang zu bringen. Der Datensatz umfasst 14.489 diagnostische Frage-Antwort-Fälle, die jeweils mit detaillierten Begründungen aus frei zugänglichen medizinischen Fallberichten gepaart sind. Wir evaluieren state-of-the-art LLMs für das logische Denken anhand von MedCaseReasoning und stellen erhebliche Mängel in ihren Diagnosen und Begründungen fest: Beispielsweise erreicht das leistungsstärkste Open-Source-Modell, DeepSeek-R1, nur eine 10-Shot-Diagnosegenauigkeit von 48 % und erwähnt lediglich 64 % der klinischen Begründungen (Recall). Wir zeigen jedoch, dass das Feinabstimmen von LLMs anhand der aus MedCaseReasoning abgeleiteten Denkprozesse die diagnostische Genauigkeit und den klinischen Recall signifikant verbessert, mit durchschnittlichen relativen Steigerungen von 29 % bzw. 41 %. Der frei zugängliche Datensatz, der Code und die Modelle sind unter https://github.com/kevinwu23/Stanford-MedCaseReasoning verfügbar.

English

Doctors and patients alike increasingly use Large Language Models (LLMs) to diagnose clinical cases. However, unlike domains such as math or coding, where correctness can be objectively defined by the final answer, medical diagnosis requires both the outcome and the reasoning process to be accurate. Currently, widely used medical benchmarks like MedQA and MMLU assess only accuracy in the final answer, overlooking the quality and faithfulness of the clinical reasoning process. To address this limitation, we introduce MedCaseReasoning, the first open-access dataset for evaluating LLMs on their ability to align with clinician-authored diagnostic reasoning. The dataset includes 14,489 diagnostic question-and-answer cases, each paired with detailed reasoning statements derived from open-access medical case reports. We evaluate state-of-the-art reasoning LLMs on MedCaseReasoning and find significant shortcomings in their diagnoses and reasoning: for instance, the top-performing open-source model, DeepSeek-R1, achieves only 48% 10-shot diagnostic accuracy and mentions only 64% of the clinician reasoning statements (recall). However, we demonstrate that fine-tuning LLMs on the reasoning traces derived from MedCaseReasoning significantly improves diagnostic accuracy and clinical reasoning recall by an average relative gain of 29% and 41%, respectively. The open-source dataset, code, and models are available at https://github.com/kevinwu23/Stanford-MedCaseReasoning.