MEDIC: Verso un Quadro Globale per Valutare i Modelli Linguistici di Lunga Memoria nelle Applicazioni Cliniche

MEDIC: Towards a Comprehensive Framework for Evaluating LLMs in Clinical Applications

September 11, 2024

Autori: Praveen K Kanithi, Clément Christophe, Marco AF Pimentel, Tathagata Raha, Nada Saadi, Hamza Javed, Svetlana Maslenkova, Nasir Hayat, Ronnie Rajan, Shadab Khan

cs.AI

Abstract

Lo sviluppo rapido dei Grandi Modelli Linguistici (LLM) per applicazioni nel settore sanitario ha suscitato richieste di valutazioni olistiche al di là dei benchmark frequentemente citati come USMLE, per riflettere meglio le prestazioni reali. Sebbene le valutazioni reali siano indicatori preziosi dell'utilità, spesso sono in ritardo rispetto all'evoluzione dei LLM, rendendo probabilmente obsolete le scoperte al momento del dispiegamento. Questo scollegamento temporale rende necessaria un'ampia valutazione iniziale che possa guidare la selezione del modello per applicazioni cliniche specifiche. Presentiamo MEDIC, un framework che valuta i LLM su cinque dimensioni critiche di competenza clinica: ragionamento medico, etica e pregiudizi, comprensione dei dati e del linguaggio, apprendimento contestuale e sicurezza clinica. MEDIC presenta un innovativo framework di incrocio che quantifica le prestazioni dei LLM su aree come copertura e rilevamento di allucinazioni, senza richiedere output di riferimento. Applichiamo MEDIC per valutare i LLM su domande e risposte mediche, sicurezza, sintesi, generazione di note e altre attività. I nostri risultati mostrano disparità di prestazioni tra dimensioni del modello, modelli di base rispetto a quelli raffinati medicalmente e hanno implicazioni sulla selezione del modello per applicazioni che richiedono specifiche capacità del modello, come bassa allucinazione o minor costo di inferenza. La valutazione multifattoriale di MEDIC rivela questi compromessi di prestazioni, colmando il divario tra capacità teoriche e implementazione pratica in contesti sanitari, garantendo che i modelli più promettenti siano identificati e adattati per diverse applicazioni nel settore sanitario.

English

The rapid development of Large Language Models (LLMs) for healthcare applications has spurred calls for holistic evaluation beyond frequently-cited benchmarks like USMLE, to better reflect real-world performance. While real-world assessments are valuable indicators of utility, they often lag behind the pace of LLM evolution, likely rendering findings obsolete upon deployment. This temporal disconnect necessitates a comprehensive upfront evaluation that can guide model selection for specific clinical applications. We introduce MEDIC, a framework assessing LLMs across five critical dimensions of clinical competence: medical reasoning, ethics and bias, data and language understanding, in-context learning, and clinical safety. MEDIC features a novel cross-examination framework quantifying LLM performance across areas like coverage and hallucination detection, without requiring reference outputs. We apply MEDIC to evaluate LLMs on medical question-answering, safety, summarization, note generation, and other tasks. Our results show performance disparities across model sizes, baseline vs medically finetuned models, and have implications on model selection for applications requiring specific model strengths, such as low hallucination or lower cost of inference. MEDIC's multifaceted evaluation reveals these performance trade-offs, bridging the gap between theoretical capabilities and practical implementation in healthcare settings, ensuring that the most promising models are identified and adapted for diverse healthcare applications.