MEDIC: Naar een allesomvattend kader voor het evalueren van LLM's in klinische toepassingen

MEDIC: Towards a Comprehensive Framework for Evaluating LLMs in Clinical Applications

September 11, 2024

Auteurs: Praveen K Kanithi, Clément Christophe, Marco AF Pimentel, Tathagata Raha, Nada Saadi, Hamza Javed, Svetlana Maslenkova, Nasir Hayat, Ronnie Rajan, Shadab Khan

cs.AI

Samenvatting

De snelle ontwikkeling van Grote Taalmodellen (LLM's) voor gezondheidstoepassingen heeft geleid tot oproepen voor een holistische evaluatie die verder gaat dan vaak aangehaalde benchmarks zoals USMLE, om beter de prestaties in de echte wereld weer te geven. Hoewel evaluaties in de echte wereld waardevolle indicatoren van bruikbaarheid zijn, lopen ze vaak achter op het tempo van de evolutie van LLM's, waardoor bevindingen waarschijnlijk verouderd zijn bij implementatie. Deze temporale disconnectie vereist een uitgebreide initiële evaluatie die de selectie van modellen voor specifieke klinische toepassingen kan sturen. We introduceren MEDIC, een raamwerk dat LLM's beoordeelt op vijf kritieke dimensies van klinische competentie: medisch redeneren, ethiek en vooringenomenheid, gegevens- en taalbegrip, leren in context, en klinische veiligheid. MEDIC bevat een nieuw kruisverwijzingsraamwerk dat LLM-prestaties kwantificeert op gebieden zoals dekking en hallucinatiedetectie, zonder dat referentie-uitvoer nodig is. We passen MEDIC toe om LLM's te evalueren op medische vraagbeantwoording, veiligheid, samenvatting, notitiegeneratie en andere taken. Onze resultaten tonen prestatieverschillen tussen modelgroottes, basislijn versus medisch gefinetunede modellen, en hebben implicaties voor modelselectie voor toepassingen die specifieke modelsterktes vereisen, zoals weinig hallucinatie of lagere inferentiekosten. De veelzijdige evaluatie van MEDIC onthult deze prestatieafwegingen, overbrugt de kloof tussen theoretische mogelijkheden en praktische implementatie in gezondheidszorgomgevingen, en zorgt ervoor dat de meest veelbelovende modellen worden geïdentificeerd en aangepast voor diverse gezondheidstoepassingen.

English

The rapid development of Large Language Models (LLMs) for healthcare applications has spurred calls for holistic evaluation beyond frequently-cited benchmarks like USMLE, to better reflect real-world performance. While real-world assessments are valuable indicators of utility, they often lag behind the pace of LLM evolution, likely rendering findings obsolete upon deployment. This temporal disconnect necessitates a comprehensive upfront evaluation that can guide model selection for specific clinical applications. We introduce MEDIC, a framework assessing LLMs across five critical dimensions of clinical competence: medical reasoning, ethics and bias, data and language understanding, in-context learning, and clinical safety. MEDIC features a novel cross-examination framework quantifying LLM performance across areas like coverage and hallucination detection, without requiring reference outputs. We apply MEDIC to evaluate LLMs on medical question-answering, safety, summarization, note generation, and other tasks. Our results show performance disparities across model sizes, baseline vs medically finetuned models, and have implications on model selection for applications requiring specific model strengths, such as low hallucination or lower cost of inference. MEDIC's multifaceted evaluation reveals these performance trade-offs, bridging the gap between theoretical capabilities and practical implementation in healthcare settings, ensuring that the most promising models are identified and adapted for diverse healthcare applications.