AfriMed-QA: Een Pan-Afrikaanse, Multi-Specialty, Medische Vraag-en-Antwoord Benchmark Dataset

AfriMed-QA: A Pan-African, Multi-Specialty, Medical Question-Answering Benchmark Dataset

November 23, 2024

Auteurs: Tobi Olatunji, Charles Nimo, Abraham Owodunni, Tassallah Abdullahi, Emmanuel Ayodele, Mardhiyah Sanni, Chinemelu Aka, Folafunmi Omofoye, Foutse Yuehgoh, Timothy Faniran, Bonaventure F. P. Dossou, Moshood Yekini, Jonas Kemp, Katherine Heller, Jude Chidubem Omeke, Chidi Asuzu MD, Naome A. Etori, Aimérou Ndiaye, Ifeoma Okoh, Evans Doe Ocansey, Wendy Kinara, Michael Best, Irfan Essa, Stephen Edward Moore, Chris Fourie, Mercy Nyamewaa Asiedu

cs.AI

Samenvatting

Recente ontwikkelingen in de prestaties van grote taalmodellen (LLM) op medische meerkeuzevragen (MCQ) benchmarks hebben wereldwijd interesse gewekt bij zorgverleners en patiënten. Vooral in lage- en middeninkomenslanden (LMICs) met een acuut tekort aan artsen en een gebrek aan specialisten, bieden LLMs een potentieel schaalbare manier om de toegang tot gezondheidszorg te verbeteren en de kosten te verlagen. De effectiviteit van LLMs in de Global South, met name op het Afrikaanse continent, moet echter nog worden vastgesteld. In dit onderzoek introduceren we AfriMed-QA, het eerste grootschalige Pan-Afrikaanse Engelse multi-specialisme medische Vraag-Antwoord (QA) dataset, met 15.000 vragen (open en gesloten) afkomstig van meer dan 60 medische scholen in 16 landen, die 32 medische specialismen beslaan. We evalueren vervolgens 30 LLMs op meerdere assen, waaronder correctheid en demografische bias. Onze bevindingen tonen aanzienlijke prestatievariatie over specialismen en geografieën, waarbij de prestaties op MCQ duidelijk achterblijven bij USMLE (MedQA). We constateren dat biomedische LLMs minder presteren dan algemene modellen en dat kleinere LLMs die geschikt zijn voor edge-devices moeite hebben om een voldoende score te behalen. Interessant genoeg tonen menselijke evaluaties een consistente voorkeur van consumenten voor LLM-antwoorden en -verklaringen in vergelijking met clinici-antwoorden.

English

Recent advancements in large language model(LLM) performance on medical multiple choice question (MCQ) benchmarks have stimulated interest from healthcare providers and patients globally. Particularly in low-and middle-income countries (LMICs) facing acute physician shortages and lack of specialists, LLMs offer a potentially scalable pathway to enhance healthcare access and reduce costs. However, their effectiveness in the Global South, especially across the African continent, remains to be established. In this work, we introduce AfriMed-QA, the first large scale Pan-African English multi-specialty medical Question-Answering (QA) dataset, 15,000 questions (open and closed-ended) sourced from over 60 medical schools across 16 countries, covering 32 medical specialties. We further evaluate 30 LLMs across multiple axes including correctness and demographic bias. Our findings show significant performance variation across specialties and geographies, MCQ performance clearly lags USMLE (MedQA). We find that biomedical LLMs underperform general models and smaller edge-friendly LLMs struggle to achieve a passing score. Interestingly, human evaluations show a consistent consumer preference for LLM answers and explanations when compared with clinician answers.