MedCaseReasoning: 임상 사례 보고서를 통해 진단 추론 평가 및 학습하기

MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports

May 16, 2025

저자: Kevin Wu, Eric Wu, Rahul Thapa, Kevin Wei, Angela Zhang, Arvind Suresh, Jacqueline J. Tao, Min Woo Sun, Alejandro Lozano, James Zou

cs.AI

초록

의사와 환자 모두 임상 사례를 진단하기 위해 대형 언어 모델(LLMs)을 점점 더 많이 사용하고 있다. 그러나 수학이나 코딩과 같은 분야와 달리, 의학 진단에서는 최종 답변뿐만 아니라 추론 과정도 정확해야 한다. 현재 널리 사용되는 MedQA 및 MMLU와 같은 의학 벤치마크는 최종 답변의 정확성만 평가하며, 임상 추론 과정의 질과 신뢰성을 간과하고 있다. 이러한 한계를 해결하기 위해, 우리는 임상의가 작성한 진단 추론과의 일치 능력을 평가하기 위한 첫 번째 공개 데이터셋인 MedCaseReasoning을 소개한다. 이 데이터셋은 14,489개의 진단 질문-답변 사례로 구성되어 있으며, 각 사례는 공개 의학 사례 보고서에서 도출된 상세한 추론 설명과 짝을 이룬다. 우리는 MedCaseReasoning에서 최첨단 추론 LLMs를 평가하고, 그들의 진단과 추론에서 상당한 결함을 발견했다: 예를 들어, 최고 성능의 오픈소스 모델인 DeepSeek-R1은 10샷 진단 정확도에서 48%에 불과하며, 임상의 추론 설명의 64%만 언급했다(재현율). 그러나 우리는 MedCaseReasoning에서 도출된 추론 흔적을 기반으로 LLMs를 미세 조정하면 진단 정확도와 임상 추론 재현율이 각각 평균 29%와 41%의 상대적 향상을 보인다는 것을 입증했다. 공개 데이터셋, 코드 및 모델은 https://github.com/kevinwu23/Stanford-MedCaseReasoning에서 확인할 수 있다.

English

Doctors and patients alike increasingly use Large Language Models (LLMs) to diagnose clinical cases. However, unlike domains such as math or coding, where correctness can be objectively defined by the final answer, medical diagnosis requires both the outcome and the reasoning process to be accurate. Currently, widely used medical benchmarks like MedQA and MMLU assess only accuracy in the final answer, overlooking the quality and faithfulness of the clinical reasoning process. To address this limitation, we introduce MedCaseReasoning, the first open-access dataset for evaluating LLMs on their ability to align with clinician-authored diagnostic reasoning. The dataset includes 14,489 diagnostic question-and-answer cases, each paired with detailed reasoning statements derived from open-access medical case reports. We evaluate state-of-the-art reasoning LLMs on MedCaseReasoning and find significant shortcomings in their diagnoses and reasoning: for instance, the top-performing open-source model, DeepSeek-R1, achieves only 48% 10-shot diagnostic accuracy and mentions only 64% of the clinician reasoning statements (recall). However, we demonstrate that fine-tuning LLMs on the reasoning traces derived from MedCaseReasoning significantly improves diagnostic accuracy and clinical reasoning recall by an average relative gain of 29% and 41%, respectively. The open-source dataset, code, and models are available at https://github.com/kevinwu23/Stanford-MedCaseReasoning.