AfriMed-QA: un dataset di benchmark di domande e risposte mediche pan-africano e multi-specialistico.

AfriMed-QA: A Pan-African, Multi-Specialty, Medical Question-Answering Benchmark Dataset

November 23, 2024

Autori: Tobi Olatunji, Charles Nimo, Abraham Owodunni, Tassallah Abdullahi, Emmanuel Ayodele, Mardhiyah Sanni, Chinemelu Aka, Folafunmi Omofoye, Foutse Yuehgoh, Timothy Faniran, Bonaventure F. P. Dossou, Moshood Yekini, Jonas Kemp, Katherine Heller, Jude Chidubem Omeke, Chidi Asuzu MD, Naome A. Etori, Aimérou Ndiaye, Ifeoma Okoh, Evans Doe Ocansey, Wendy Kinara, Michael Best, Irfan Essa, Stephen Edward Moore, Chris Fourie, Mercy Nyamewaa Asiedu

cs.AI

Abstract

I recenti progressi nelle prestazioni dei grandi modelli linguistici (LLM) su benchmark di domande a scelta multipla (MCQ) nel campo medico hanno suscitato interesse da parte di operatori sanitari e pazienti a livello globale. In particolare, nei paesi a basso e medio reddito (LMICs) che affrontano carenze di medici e mancanza di specialisti, i LLM offrono un percorso potenzialmente scalabile per migliorare l'accesso alle cure sanitarie e ridurre i costi. Tuttavia, la loro efficacia nel Global South, in particolare in tutto il continente africano, deve ancora essere stabilita. In questo lavoro, presentiamo AfriMed-QA, il primo ampio dataset pan-africano in lingua inglese per domande e risposte mediche multi-specialistiche, con 15.000 domande (aperte e chiuse) provenienti da oltre 60 scuole di medicina in 16 paesi, che coprono 32 specialità mediche. Valutiamo inoltre 30 LLM su diversi aspetti, inclusa la correttezza e il bias demografico. I nostri risultati mostrano una significativa variazione delle prestazioni tra le specialità e le geografie, con le prestazioni delle MCQ chiaramente inferiori rispetto al USMLE (MedQA). Abbiamo riscontrato che i LLM biomedici hanno prestazioni inferiori rispetto ai modelli generali e i LLM più piccoli e adatti ai dispositivi periferici faticano a ottenere un punteggio sufficiente. In modo interessante, le valutazioni umane mostrano una costante preferenza dei consumatori per le risposte e le spiegazioni dei LLM rispetto alle risposte dei clinici.

English

Recent advancements in large language model(LLM) performance on medical multiple choice question (MCQ) benchmarks have stimulated interest from healthcare providers and patients globally. Particularly in low-and middle-income countries (LMICs) facing acute physician shortages and lack of specialists, LLMs offer a potentially scalable pathway to enhance healthcare access and reduce costs. However, their effectiveness in the Global South, especially across the African continent, remains to be established. In this work, we introduce AfriMed-QA, the first large scale Pan-African English multi-specialty medical Question-Answering (QA) dataset, 15,000 questions (open and closed-ended) sourced from over 60 medical schools across 16 countries, covering 32 medical specialties. We further evaluate 30 LLMs across multiple axes including correctness and demographic bias. Our findings show significant performance variation across specialties and geographies, MCQ performance clearly lags USMLE (MedQA). We find that biomedical LLMs underperform general models and smaller edge-friendly LLMs struggle to achieve a passing score. Interestingly, human evaluations show a consistent consumer preference for LLM answers and explanations when compared with clinician answers.