MedCaseReasoning: Evaluación y aprendizaje del razonamiento diagnóstico a partir de informes de casos clínicos

MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports

May 16, 2025

Autores: Kevin Wu, Eric Wu, Rahul Thapa, Kevin Wei, Angela Zhang, Arvind Suresh, Jacqueline J. Tao, Min Woo Sun, Alejandro Lozano, James Zou

cs.AI

Resumen

Tanto los médicos como los pacientes utilizan cada vez más los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) para diagnosticar casos clínicos. Sin embargo, a diferencia de dominios como las matemáticas o la programación, donde la corrección puede definirse objetivamente por la respuesta final, el diagnóstico médico requiere que tanto el resultado como el proceso de razonamiento sean precisos. Actualmente, los puntos de referencia médicos ampliamente utilizados, como MedQA y MMLU, evalúan únicamente la precisión de la respuesta final, pasando por alto la calidad y fidelidad del proceso de razonamiento clínico. Para abordar esta limitación, presentamos MedCaseReasoning, el primer conjunto de datos de acceso abierto para evaluar la capacidad de los LLMs de alinearse con el razonamiento diagnóstico elaborado por médicos. El conjunto de datos incluye 14,489 casos de preguntas y respuestas diagnósticas, cada uno acompañado de declaraciones detalladas de razonamiento derivadas de informes de casos médicos de acceso abierto. Evaluamos los LLMs de razonamiento más avanzados en MedCaseReasoning y encontramos deficiencias significativas en sus diagnósticos y razonamientos: por ejemplo, el modelo de código abierto con mejor rendimiento, DeepSeek-R1, alcanza solo un 48% de precisión diagnóstica en 10-shot y menciona solo el 64% de las declaraciones de razonamiento clínico (recall). Sin embargo, demostramos que el ajuste fino de los LLMs en las trazas de razonamiento derivadas de MedCaseReasoning mejora significativamente la precisión diagnóstica y el recall del razonamiento clínico, con ganancias relativas promedio del 29% y 41%, respectivamente. El conjunto de datos, el código y los modelos de acceso abierto están disponibles en https://github.com/kevinwu23/Stanford-MedCaseReasoning.

English

Doctors and patients alike increasingly use Large Language Models (LLMs) to diagnose clinical cases. However, unlike domains such as math or coding, where correctness can be objectively defined by the final answer, medical diagnosis requires both the outcome and the reasoning process to be accurate. Currently, widely used medical benchmarks like MedQA and MMLU assess only accuracy in the final answer, overlooking the quality and faithfulness of the clinical reasoning process. To address this limitation, we introduce MedCaseReasoning, the first open-access dataset for evaluating LLMs on their ability to align with clinician-authored diagnostic reasoning. The dataset includes 14,489 diagnostic question-and-answer cases, each paired with detailed reasoning statements derived from open-access medical case reports. We evaluate state-of-the-art reasoning LLMs on MedCaseReasoning and find significant shortcomings in their diagnoses and reasoning: for instance, the top-performing open-source model, DeepSeek-R1, achieves only 48% 10-shot diagnostic accuracy and mentions only 64% of the clinician reasoning statements (recall). However, we demonstrate that fine-tuning LLMs on the reasoning traces derived from MedCaseReasoning significantly improves diagnostic accuracy and clinical reasoning recall by an average relative gain of 29% and 41%, respectively. The open-source dataset, code, and models are available at https://github.com/kevinwu23/Stanford-MedCaseReasoning.