MedCaseReasoning: Оценка и обучение диагностическому мышлению на основе клинических описаний случаев

MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports

May 16, 2025

Авторы: Kevin Wu, Eric Wu, Rahul Thapa, Kevin Wei, Angela Zhang, Arvind Suresh, Jacqueline J. Tao, Min Woo Sun, Alejandro Lozano, James Zou

cs.AI

Аннотация

Врачи и пациенты всё чаще используют крупные языковые модели (LLM) для диагностики клинических случаев. Однако, в отличие от таких областей, как математика или программирование, где правильность может быть объективно определена по конечному ответу, медицинская диагностика требует точности как в результате, так и в процессе рассуждений. В настоящее время широко используемые медицинские тесты, такие как MedQA и MMLU, оценивают только точность конечного ответа, упуская из виду качество и достоверность клинического процесса рассуждений. Чтобы устранить этот недостаток, мы представляем MedCaseReasoning — первый открытый набор данных для оценки способности LLM соответствовать диагностическим рассуждениям, составленным клиницистами. Набор данных включает 14 489 диагностических вопросов и ответов, каждый из которых сопровождается подробными рассуждениями, взятыми из открытых медицинских отчётов. Мы оцениваем современные LLM, специализирующиеся на рассуждениях, на основе MedCaseReasoning и обнаруживаем значительные недостатки в их диагнозах и рассуждениях: например, лучшая открытая модель, DeepSeek-R1, достигает только 48% точности диагностики в режиме 10-shot и упоминает лишь 64% рассуждений клиницистов (полнота). Однако мы показываем, что тонкая настройка LLM на траекториях рассуждений, полученных из MedCaseReasoning, значительно улучшает точность диагностики и полноту клинических рассуждений, с относительным приростом в среднем на 29% и 41% соответственно. Открытый набор данных, код и модели доступны по адресу https://github.com/kevinwu23/Stanford-MedCaseReasoning.

English

Doctors and patients alike increasingly use Large Language Models (LLMs) to diagnose clinical cases. However, unlike domains such as math or coding, where correctness can be objectively defined by the final answer, medical diagnosis requires both the outcome and the reasoning process to be accurate. Currently, widely used medical benchmarks like MedQA and MMLU assess only accuracy in the final answer, overlooking the quality and faithfulness of the clinical reasoning process. To address this limitation, we introduce MedCaseReasoning, the first open-access dataset for evaluating LLMs on their ability to align with clinician-authored diagnostic reasoning. The dataset includes 14,489 diagnostic question-and-answer cases, each paired with detailed reasoning statements derived from open-access medical case reports. We evaluate state-of-the-art reasoning LLMs on MedCaseReasoning and find significant shortcomings in their diagnoses and reasoning: for instance, the top-performing open-source model, DeepSeek-R1, achieves only 48% 10-shot diagnostic accuracy and mentions only 64% of the clinician reasoning statements (recall). However, we demonstrate that fine-tuning LLMs on the reasoning traces derived from MedCaseReasoning significantly improves diagnostic accuracy and clinical reasoning recall by an average relative gain of 29% and 41%, respectively. The open-source dataset, code, and models are available at https://github.com/kevinwu23/Stanford-MedCaseReasoning.