臨床ベンチマーク：LLMは臨床予測において従来の機械学習モデルに勝ることができるか？

ClinicalBench: Can LLMs Beat Traditional ML Models in Clinical Prediction?

November 10, 2024

著者: Canyu Chen, Jian Yu, Shan Chen, Che Liu, Zhongwei Wan, Danielle Bitterman, Fei Wang, Kai Shu

cs.AI

要旨

大規模言語モデル（LLMs）は、医療テキスト処理タスクや医療資格試験における優れた能力から、現在の臨床システムを革新する可能性を秘めています。一方で、SVMやXGBoostなどの従来の機械学習モデルは、主に臨床予測タスクで採用されてきました。新たな疑問として、LLMsは臨床予測において従来の機械学習モデルに勝ることができるのかという点が浮上しています。そこで、一般用途および医療用途のLLMsと従来の機械学習モデルの臨床予測モデリング能力を包括的に研究し、比較するために新しいベンチマークであるClinicalBenchを構築しました。ClinicalBenchは、3つの一般的な臨床予測タスク、2つのデータベース、14の一般用途LLMs、8つの医療用途LLMs、および11の従来の機械学習モデルを含んでいます。広範な実証調査を通じて、異なるモデルスケールや多様なプロンプトやファインチューニング戦略を用いた一般用途および医療用途のLLMsでも、まだ臨床予測において従来の機械学習モデルに勝ることができないことがわかりました。これは、臨床推論や意思決定における潜在的な欠点を示しており、臨床応用においてLLMsを採用する際には慎重である必要があることを示唆しています。ClinicalBenchは、LLMsの医療分野での開発と実際の臨床実践との間のギャップを埋めるために活用できます。

English

Large Language Models (LLMs) hold great promise to revolutionize current clinical systems for their superior capacities on medical text processing tasks and medical licensing exams. Meanwhile, traditional ML models such as SVM and XGBoost have still been mainly adopted in clinical prediction tasks. An emerging question is Can LLMs beat traditional ML models in clinical prediction? Thus, we build a new benchmark ClinicalBench to comprehensively study the clinical predictive modeling capacities of both general-purpose and medical LLMs, and compare them with traditional ML models. ClinicalBench embraces three common clinical prediction tasks, two databases, 14 general-purpose LLMs, 8 medical LLMs, and 11 traditional ML models. Through extensive empirical investigation, we discover that both general-purpose and medical LLMs, even with different model scales, diverse prompting or fine-tuning strategies, still cannot beat traditional ML models in clinical prediction yet, shedding light on their potential deficiency in clinical reasoning and decision-making. We call for caution when practitioners adopt LLMs in clinical applications. ClinicalBench can be utilized to bridge the gap between LLMs' development for healthcare and real-world clinical practice.