ClinicalBench: Могут ли LLM превзойти традиционные модели машинного обучения в клиническом прогнозировании?

ClinicalBench: Can LLMs Beat Traditional ML Models in Clinical Prediction?

November 10, 2024

Авторы: Canyu Chen, Jian Yu, Shan Chen, Che Liu, Zhongwei Wan, Danielle Bitterman, Fei Wang, Kai Shu

cs.AI

Аннотация

Большие языковые модели (LLM) обладают большим потенциалом для революции текущих клинических систем благодаря своим превосходным возможностям в обработке медицинских текстов и медицинских лицензионных экзаменах. Тем временем традиционные модели машинного обучения, такие как SVM и XGBoost, до сих пор в основном применяются в клинических задачах прогнозирования. Возникает вопрос: могут ли LLM превзойти традиционные модели машинного обучения в клиническом прогнозировании? Таким образом, мы создаем новый бенчмарк ClinicalBench для всестороннего изучения возможностей клинического прогностического моделирования как общего назначения, так и медицинских LLM, и сравнения их с традиционными моделями машинного обучения. ClinicalBench включает три общих клинических задачи прогнозирования, две базы данных, 14 LLM общего назначения, 8 медицинских LLM и 11 традиционных моделей машинного обучения. В результате обширного эмпирического исследования мы обнаружили, что как LLM общего назначения, так и медицинские LLM, даже при различных масштабах моделей, различных стратегиях подсказок или донастройки, пока не могут превзойти традиционные модели машинного обучения в клиническом прогнозировании, что указывает на их потенциальные недостатки в клиническом мышлении и принятии решений. Мы призываем к осторожности при применении LLM в клинических приложениях. ClinicalBench может быть использован для сокращения разрыва между развитием LLM для здравоохранения и клинической практикой в реальном мире.

English

Large Language Models (LLMs) hold great promise to revolutionize current clinical systems for their superior capacities on medical text processing tasks and medical licensing exams. Meanwhile, traditional ML models such as SVM and XGBoost have still been mainly adopted in clinical prediction tasks. An emerging question is Can LLMs beat traditional ML models in clinical prediction? Thus, we build a new benchmark ClinicalBench to comprehensively study the clinical predictive modeling capacities of both general-purpose and medical LLMs, and compare them with traditional ML models. ClinicalBench embraces three common clinical prediction tasks, two databases, 14 general-purpose LLMs, 8 medical LLMs, and 11 traditional ML models. Through extensive empirical investigation, we discover that both general-purpose and medical LLMs, even with different model scales, diverse prompting or fine-tuning strategies, still cannot beat traditional ML models in clinical prediction yet, shedding light on their potential deficiency in clinical reasoning and decision-making. We call for caution when practitioners adopt LLMs in clinical applications. ClinicalBench can be utilized to bridge the gap between LLMs' development for healthcare and real-world clinical practice.