MedCaseReasoning: Evaluatie en leren van diagnostisch redeneren uit klinische casusrapporten

MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports

May 16, 2025

Auteurs: Kevin Wu, Eric Wu, Rahul Thapa, Kevin Wei, Angela Zhang, Arvind Suresh, Jacqueline J. Tao, Min Woo Sun, Alejandro Lozano, James Zou

cs.AI

Samenvatting

Artsen en patiënten gebruiken steeds vaker Large Language Models (LLMs) om klinische gevallen te diagnosticeren. In tegenstelling tot domeinen zoals wiskunde of programmeren, waar correctheid objectief kan worden bepaald door het uiteindelijke antwoord, vereist medische diagnose zowel een accuraat resultaat als een correct redeneerproces. Momenteel meten veelgebruikte medische benchmarks zoals MedQA en MMLU alleen de nauwkeurigheid van het uiteindelijke antwoord, waarbij de kwaliteit en betrouwbaarheid van het klinische redeneerproces over het hoofd worden gezien. Om deze beperking aan te pakken, introduceren we MedCaseReasoning, de eerste open-access dataset voor het evalueren van LLMs op hun vermogen om aan te sluiten bij door clinici geschreven diagnostische redeneringen. De dataset omvat 14.489 diagnostische vraag-en-antwoordgevallen, elk gekoppeld aan gedetailleerde redeneerverklaringen afgeleid uit open-access medische casusrapporten. We evalueren state-of-the-art redeneer-LLMs op MedCaseReasoning en constateren aanzienlijke tekortkomingen in hun diagnoses en redeneringen: bijvoorbeeld, het best presterende open-source model, DeepSeek-R1, behaalt slechts 48% diagnostische nauwkeurigheid bij 10-shot en noemt slechts 64% van de redeneerverklaringen van clinici (recall). We tonen echter aan dat het finetunen van LLMs op de redeneersporen afgeleid uit MedCaseReasoning de diagnostische nauwkeurigheid en de recall van klinische redeneringen aanzienlijk verbetert, met een gemiddelde relatieve winst van respectievelijk 29% en 41%. De open-source dataset, code en modellen zijn beschikbaar op https://github.com/kevinwu23/Stanford-MedCaseReasoning.

English

Doctors and patients alike increasingly use Large Language Models (LLMs) to diagnose clinical cases. However, unlike domains such as math or coding, where correctness can be objectively defined by the final answer, medical diagnosis requires both the outcome and the reasoning process to be accurate. Currently, widely used medical benchmarks like MedQA and MMLU assess only accuracy in the final answer, overlooking the quality and faithfulness of the clinical reasoning process. To address this limitation, we introduce MedCaseReasoning, the first open-access dataset for evaluating LLMs on their ability to align with clinician-authored diagnostic reasoning. The dataset includes 14,489 diagnostic question-and-answer cases, each paired with detailed reasoning statements derived from open-access medical case reports. We evaluate state-of-the-art reasoning LLMs on MedCaseReasoning and find significant shortcomings in their diagnoses and reasoning: for instance, the top-performing open-source model, DeepSeek-R1, achieves only 48% 10-shot diagnostic accuracy and mentions only 64% of the clinician reasoning statements (recall). However, we demonstrate that fine-tuning LLMs on the reasoning traces derived from MedCaseReasoning significantly improves diagnostic accuracy and clinical reasoning recall by an average relative gain of 29% and 41%, respectively. The open-source dataset, code, and models are available at https://github.com/kevinwu23/Stanford-MedCaseReasoning.