MEDIC: Auf dem Weg zu einem umfassenden Rahmenwerk zur Bewertung von LLMs in klinischen Anwendungen

MEDIC: Towards a Comprehensive Framework for Evaluating LLMs in Clinical Applications

September 11, 2024

Autoren: Praveen K Kanithi, Clément Christophe, Marco AF Pimentel, Tathagata Raha, Nada Saadi, Hamza Javed, Svetlana Maslenkova, Nasir Hayat, Ronnie Rajan, Shadab Khan

cs.AI

Zusammenfassung

Die rasante Entwicklung von Large Language Models (LLMs) für Anwendungen im Gesundheitswesen hat Forderungen nach einer ganzheitlichen Bewertung jenseits häufig zitierter Benchmarks wie dem USMLE hervorgerufen, um die Leistung im realen Umfeld besser widerzuspiegeln. Während Bewertungen im realen Umfeld wertvolle Indikatoren für die Nützlichkeit sind, hinken sie oft der Entwicklung von LLMs hinterher, was dazu führen kann, dass die Ergebnisse bei der Implementierung veraltet sind. Diese zeitliche Diskrepanz erfordert eine umfassende anfängliche Bewertung, die die Auswahl des Modells für spezifische klinische Anwendungen lenken kann. Wir stellen MEDIC vor, ein Rahmenwerk zur Bewertung von LLMs über fünf kritische Dimensionen klinischer Kompetenz: medizinisches Denken, Ethik und Voreingenommenheit, Daten- und Sprachverständnis, kontextbezogenes Lernen und klinische Sicherheit. MEDIC umfasst ein neuartiges Kreuzprüfungsrahmenwerk, das die Leistung von LLMs in Bereichen wie Abdeckung und Halluzinationserkennung quantifiziert, ohne Referenzausgaben zu benötigen. Wir wenden MEDIC an, um LLMs in den Bereichen medizinische Fragebeantwortung, Sicherheit, Zusammenfassung, Notenerstellung und anderen Aufgaben zu bewerten. Unsere Ergebnisse zeigen Leistungsunterschiede zwischen Modellgrößen, Grundlinien- und medizinisch feinabgestimmten Modellen auf und haben Auswirkungen auf die Modellauswahl für Anwendungen, die spezifische Modellstärken erfordern, wie z.B. geringe Halluzination oder niedrigere Inferenzkosten. Die vielschichtige Bewertung von MEDIC zeigt diese Leistungskompromisse auf und überbrückt die Kluft zwischen theoretischen Fähigkeiten und praktischer Umsetzung in Gesundheitseinrichtungen, um sicherzustellen, dass die vielversprechendsten Modelle für vielfältige Gesundheitsanwendungen identifiziert und angepasst werden.

English

The rapid development of Large Language Models (LLMs) for healthcare applications has spurred calls for holistic evaluation beyond frequently-cited benchmarks like USMLE, to better reflect real-world performance. While real-world assessments are valuable indicators of utility, they often lag behind the pace of LLM evolution, likely rendering findings obsolete upon deployment. This temporal disconnect necessitates a comprehensive upfront evaluation that can guide model selection for specific clinical applications. We introduce MEDIC, a framework assessing LLMs across five critical dimensions of clinical competence: medical reasoning, ethics and bias, data and language understanding, in-context learning, and clinical safety. MEDIC features a novel cross-examination framework quantifying LLM performance across areas like coverage and hallucination detection, without requiring reference outputs. We apply MEDIC to evaluate LLMs on medical question-answering, safety, summarization, note generation, and other tasks. Our results show performance disparities across model sizes, baseline vs medically finetuned models, and have implications on model selection for applications requiring specific model strengths, such as low hallucination or lower cost of inference. MEDIC's multifaceted evaluation reveals these performance trade-offs, bridging the gap between theoretical capabilities and practical implementation in healthcare settings, ensuring that the most promising models are identified and adapted for diverse healthcare applications.