MedCaseReasoning: Valutazione e apprendimento del ragionamento diagnostico dai rapporti di casi clinici

MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports

May 16, 2025

Autori: Kevin Wu, Eric Wu, Rahul Thapa, Kevin Wei, Angela Zhang, Arvind Suresh, Jacqueline J. Tao, Min Woo Sun, Alejandro Lozano, James Zou

cs.AI

Abstract

Medici e pazienti utilizzano sempre più i Modelli Linguistici di Grande Dimensione (LLM) per diagnosticare casi clinici. Tuttavia, a differenza di domini come la matematica o la programmazione, dove la correttezza può essere definita oggettivamente dalla risposta finale, la diagnosi medica richiede che sia il risultato che il processo di ragionamento siano accurati. Attualmente, benchmark medici ampiamente utilizzati come MedQA e MMLU valutano solo l'accuratezza della risposta finale, trascurando la qualità e la fedeltà del processo di ragionamento clinico. Per affrontare questa limitazione, introduciamo MedCaseReasoning, il primo dataset open-access per valutare la capacità degli LLM di allinearsi al ragionamento diagnostico redatto da clinici. Il dataset include 14.489 casi di domande e risposte diagnostiche, ciascuno associato a dichiarazioni dettagliate di ragionamento derivate da rapporti di casi medici open-access. Valutiamo i migliori LLM di ragionamento su MedCaseReasoning e riscontriamo carenze significative nelle loro diagnosi e ragionamenti: ad esempio, il modello open-source con le migliori prestazioni, DeepSeek-R1, raggiunge solo il 48% di accuratezza diagnostica in 10-shot e menziona solo il 64% delle dichiarazioni di ragionamento clinico (recall). Tuttavia, dimostriamo che il fine-tuning degli LLM sulle tracce di ragionamento derivate da MedCaseReasoning migliora significativamente l'accuratezza diagnostica e il recall del ragionamento clinico, con un guadagno relativo medio rispettivamente del 29% e del 41%. Il dataset open-source, il codice e i modelli sono disponibili all'indirizzo https://github.com/kevinwu23/Stanford-MedCaseReasoning.

English

Doctors and patients alike increasingly use Large Language Models (LLMs) to diagnose clinical cases. However, unlike domains such as math or coding, where correctness can be objectively defined by the final answer, medical diagnosis requires both the outcome and the reasoning process to be accurate. Currently, widely used medical benchmarks like MedQA and MMLU assess only accuracy in the final answer, overlooking the quality and faithfulness of the clinical reasoning process. To address this limitation, we introduce MedCaseReasoning, the first open-access dataset for evaluating LLMs on their ability to align with clinician-authored diagnostic reasoning. The dataset includes 14,489 diagnostic question-and-answer cases, each paired with detailed reasoning statements derived from open-access medical case reports. We evaluate state-of-the-art reasoning LLMs on MedCaseReasoning and find significant shortcomings in their diagnoses and reasoning: for instance, the top-performing open-source model, DeepSeek-R1, achieves only 48% 10-shot diagnostic accuracy and mentions only 64% of the clinician reasoning statements (recall). However, we demonstrate that fine-tuning LLMs on the reasoning traces derived from MedCaseReasoning significantly improves diagnostic accuracy and clinical reasoning recall by an average relative gain of 29% and 41%, respectively. The open-source dataset, code, and models are available at https://github.com/kevinwu23/Stanford-MedCaseReasoning.