AfriMed-QA: Ein panafrikanischer, multimedizinischer Frage-Antwort-Benchmark-Datensatz

AfriMed-QA: A Pan-African, Multi-Specialty, Medical Question-Answering Benchmark Dataset

November 23, 2024

Autoren: Tobi Olatunji, Charles Nimo, Abraham Owodunni, Tassallah Abdullahi, Emmanuel Ayodele, Mardhiyah Sanni, Chinemelu Aka, Folafunmi Omofoye, Foutse Yuehgoh, Timothy Faniran, Bonaventure F. P. Dossou, Moshood Yekini, Jonas Kemp, Katherine Heller, Jude Chidubem Omeke, Chidi Asuzu MD, Naome A. Etori, Aimérou Ndiaye, Ifeoma Okoh, Evans Doe Ocansey, Wendy Kinara, Michael Best, Irfan Essa, Stephen Edward Moore, Chris Fourie, Mercy Nyamewaa Asiedu

cs.AI

Zusammenfassung

Die jüngsten Fortschritte bei der Leistung großer Sprachmodelle (LLM) bei medizinischen Multiple-Choice-Fragen (MCQ) haben weltweit das Interesse von Gesundheitsdienstleistern und Patienten geweckt. Insbesondere in Ländern mit niedrigem und mittlerem Einkommen (LMICs), die mit akutem Ärztemangel und einem Mangel an Spezialisten konfrontiert sind, bieten LLMs einen potenziell skalierbaren Weg, um den Zugang zur Gesundheitsversorgung zu verbessern und die Kosten zu senken. Ihre Wirksamkeit in der Globalen Südhalbkugel, insbesondere auf dem afrikanischen Kontinent, muss jedoch noch nachgewiesen werden. In dieser Arbeit stellen wir AfriMed-QA vor, den ersten groß angelegten panafrikanischen englischsprachigen Multi-Spezialitäten-Medizin-Fragen-Antworten (QA)-Datensatz, bestehend aus 15.000 Fragen (offen und geschlossen) von über 60 medizinischen Fakultäten in 16 Ländern, die 32 medizinische Fachgebiete abdecken. Wir bewerten außerdem 30 LLMs entlang mehrerer Achsen, einschließlich Korrektheit und demografischer Voreingenommenheit. Unsere Ergebnisse zeigen signifikante Leistungsunterschiede zwischen den Fachgebieten und geografischen Regionen, wobei die Leistung bei MCQs deutlich hinter dem USMLE (MedQA) zurückbleibt. Wir stellen fest, dass biomedizinische LLMs im Vergleich zu allgemeinen Modellen unterdurchschnittlich abschneiden und kleinere, nutzerfreundliche LLMs Schwierigkeiten haben, eine Bestehensnote zu erreichen. Interessanterweise zeigen menschliche Bewertungen eine konsistente Verbraucherpräferenz für LLM-Antworten und -Erklärungen im Vergleich zu klinischen Antworten.

English

Recent advancements in large language model(LLM) performance on medical multiple choice question (MCQ) benchmarks have stimulated interest from healthcare providers and patients globally. Particularly in low-and middle-income countries (LMICs) facing acute physician shortages and lack of specialists, LLMs offer a potentially scalable pathway to enhance healthcare access and reduce costs. However, their effectiveness in the Global South, especially across the African continent, remains to be established. In this work, we introduce AfriMed-QA, the first large scale Pan-African English multi-specialty medical Question-Answering (QA) dataset, 15,000 questions (open and closed-ended) sourced from over 60 medical schools across 16 countries, covering 32 medical specialties. We further evaluate 30 LLMs across multiple axes including correctness and demographic bias. Our findings show significant performance variation across specialties and geographies, MCQ performance clearly lags USMLE (MedQA). We find that biomedical LLMs underperform general models and smaller edge-friendly LLMs struggle to achieve a passing score. Interestingly, human evaluations show a consistent consumer preference for LLM answers and explanations when compared with clinician answers.