ClinicalBench: Será que os LLMs conseguem superar os modelos tradicionais de ML na previsão clínica?

ClinicalBench: Can LLMs Beat Traditional ML Models in Clinical Prediction?

November 10, 2024

Autores: Canyu Chen, Jian Yu, Shan Chen, Che Liu, Zhongwei Wan, Danielle Bitterman, Fei Wang, Kai Shu

cs.AI

Resumo

Grandes Modelos de Linguagem (LLMs) têm grande potencial para revolucionar os sistemas clínicos atuais devido às suas capacidades superiores em tarefas de processamento de texto médico e exames de licenciamento médico. Enquanto isso, modelos tradicionais de ML como SVM e XGBoost ainda são principalmente adotados em tarefas de predição clínica. Uma questão emergente é: Os LLMs podem superar os modelos tradicionais de ML na predição clínica? Portanto, construímos um novo benchmark, o ClinicalBench, para estudar abrangentemente as capacidades de modelagem preditiva clínica tanto de LLMs de uso geral quanto médicos, e compará-los com modelos tradicionais de ML. O ClinicalBench abrange três tarefas comuns de predição clínica, duas bases de dados, 14 LLMs de uso geral, 8 LLMs médicos e 11 modelos tradicionais de ML. Através de uma extensa investigação empírica, descobrimos que tanto os LLMs de uso geral quanto os médicos, mesmo com escalas de modelo diferentes, estratégias diversas de prompt ou ajuste fino, ainda não conseguem superar os modelos tradicionais de ML na predição clínica, lançando luz sobre suas potenciais deficiências em raciocínio clínico e tomada de decisão. Chamamos a atenção para a cautela quando os profissionais adotam LLMs em aplicações clínicas. O ClinicalBench pode ser utilizado para preencher a lacuna entre o desenvolvimento de LLMs para a área da saúde e a prática clínica do mundo real.

English

Large Language Models (LLMs) hold great promise to revolutionize current clinical systems for their superior capacities on medical text processing tasks and medical licensing exams. Meanwhile, traditional ML models such as SVM and XGBoost have still been mainly adopted in clinical prediction tasks. An emerging question is Can LLMs beat traditional ML models in clinical prediction? Thus, we build a new benchmark ClinicalBench to comprehensively study the clinical predictive modeling capacities of both general-purpose and medical LLMs, and compare them with traditional ML models. ClinicalBench embraces three common clinical prediction tasks, two databases, 14 general-purpose LLMs, 8 medical LLMs, and 11 traditional ML models. Through extensive empirical investigation, we discover that both general-purpose and medical LLMs, even with different model scales, diverse prompting or fine-tuning strategies, still cannot beat traditional ML models in clinical prediction yet, shedding light on their potential deficiency in clinical reasoning and decision-making. We call for caution when practitioners adopt LLMs in clinical applications. ClinicalBench can be utilized to bridge the gap between LLMs' development for healthcare and real-world clinical practice.