ClinicalBench: ¿Pueden los LLMs superar a los modelos tradicionales de ML en la predicción clínica?

ClinicalBench: Can LLMs Beat Traditional ML Models in Clinical Prediction?

November 10, 2024

Autores: Canyu Chen, Jian Yu, Shan Chen, Che Liu, Zhongwei Wan, Danielle Bitterman, Fei Wang, Kai Shu

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) tienen un gran potencial para revolucionar los sistemas clínicos actuales debido a sus capacidades superiores en tareas de procesamiento de texto médico y exámenes de licencia médica. Mientras tanto, modelos tradicionales de aprendizaje automático como SVM y XGBoost siguen siendo principalmente adoptados en tareas de predicción clínica. Una pregunta emergente es ¿Pueden los LLMs superar a los modelos tradicionales de aprendizaje automático en predicción clínica? Por lo tanto, hemos desarrollado un nuevo banco de pruebas, ClinicalBench, para estudiar de manera integral las capacidades de modelado predictivo clínico tanto de LLMs de propósito general como médicos, y compararlos con modelos tradicionales de aprendizaje automático. ClinicalBench abarca tres tareas comunes de predicción clínica, dos bases de datos, 14 LLMs de propósito general, 8 LLMs médicos y 11 modelos tradicionales de aprendizaje automático. A través de una extensa investigación empírica, descubrimos que tanto los LLMs de propósito general como los médicos, incluso con diferentes escalas de modelo y estrategias de generación de texto o ajuste fino, aún no pueden superar a los modelos tradicionales de aprendizaje automático en predicción clínica, lo que pone de manifiesto una posible deficiencia en razonamiento clínico y toma de decisiones. Llamamos a la precaución cuando los profesionales adoptan LLMs en aplicaciones clínicas. ClinicalBench puede utilizarse para cerrar la brecha entre el desarrollo de LLMs para la atención médica y la práctica clínica del mundo real.

English

Large Language Models (LLMs) hold great promise to revolutionize current clinical systems for their superior capacities on medical text processing tasks and medical licensing exams. Meanwhile, traditional ML models such as SVM and XGBoost have still been mainly adopted in clinical prediction tasks. An emerging question is Can LLMs beat traditional ML models in clinical prediction? Thus, we build a new benchmark ClinicalBench to comprehensively study the clinical predictive modeling capacities of both general-purpose and medical LLMs, and compare them with traditional ML models. ClinicalBench embraces three common clinical prediction tasks, two databases, 14 general-purpose LLMs, 8 medical LLMs, and 11 traditional ML models. Through extensive empirical investigation, we discover that both general-purpose and medical LLMs, even with different model scales, diverse prompting or fine-tuning strategies, still cannot beat traditional ML models in clinical prediction yet, shedding light on their potential deficiency in clinical reasoning and decision-making. We call for caution when practitioners adopt LLMs in clinical applications. ClinicalBench can be utilized to bridge the gap between LLMs' development for healthcare and real-world clinical practice.