MedFuzz: Esplorazione della Robustezza dei Modelli Linguistici di Grandi Dimensioni nel Rispondere a Domande Mediche

MedFuzz: Exploring the Robustness of Large Language Models in Medical Question Answering

June 3, 2024

Autori: Robert Osazuwa Ness, Katie Matton, Hayden Helm, Sheng Zhang, Junaid Bajwa, Carey E. Priebe, Eric Horvitz

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno ottenuto prestazioni impressionanti nei benchmark di risposta a domande mediche. Tuttavia, un'elevata accuratezza nei benchmark non implica che le prestazioni si generalizzino a contesti clinici reali. I benchmark di risposta a domande mediche si basano su presupposti coerenti con la quantificazione delle prestazioni degli LLM, ma che potrebbero non valere nel mondo aperto della clinica. Tuttavia, gli LLM apprendono una conoscenza ampia che può aiutarli a generalizzare a condizioni pratiche, indipendentemente da presupposti irrealistici nei benchmark celebrati. Cerchiamo di quantificare quanto bene le prestazioni degli LLM nei benchmark di risposta a domande mediche si generalizzano quando i presupposti del benchmark vengono violati. Nello specifico, presentiamo un metodo avversario che chiamiamo MedFuzz (per medical fuzzing). MedFuzz tenta di modificare le domande del benchmark in modi mirati a confondere l'LLM. Dimostriamo l'approccio prendendo di mira forti presupposti sulle caratteristiche del paziente presentati nel benchmark MedQA. Gli "attacchi" riusciti modificano un elemento del benchmark in modi che difficilmente ingannerebbero un esperto medico, ma che comunque "ingannano" l'LLM facendolo passare da una risposta corretta a una errata. Inoltre, presentiamo una tecnica di test di permutazione che può garantire che un attacco riuscito sia statisticamente significativo. Mostriamo come utilizzare le prestazioni su un benchmark "MedFuzzato", nonché i singoli attacchi riusciti. I metodi mostrano promesse nel fornire approfondimenti sulla capacità di un LLM di operare in modo robusto in contesti più realistici.

English

Large language models (LLM) have achieved impressive performance on medical question-answering benchmarks. However, high benchmark accuracy does not imply that the performance generalizes to real-world clinical settings. Medical question-answering benchmarks rely on assumptions consistent with quantifying LLM performance but that may not hold in the open world of the clinic. Yet LLMs learn broad knowledge that can help the LLM generalize to practical conditions regardless of unrealistic assumptions in celebrated benchmarks. We seek to quantify how well LLM medical question-answering benchmark performance generalizes when benchmark assumptions are violated. Specifically, we present an adversarial method that we call MedFuzz (for medical fuzzing). MedFuzz attempts to modify benchmark questions in ways aimed at confounding the LLM. We demonstrate the approach by targeting strong assumptions about patient characteristics presented in the MedQA benchmark. Successful "attacks" modify a benchmark item in ways that would be unlikely to fool a medical expert but nonetheless "trick" the LLM into changing from a correct to an incorrect answer. Further, we present a permutation test technique that can ensure a successful attack is statistically significant. We show how to use performance on a "MedFuzzed" benchmark, as well as individual successful attacks. The methods show promise at providing insights into the ability of an LLM to operate robustly in more realistic settings.