AfriMed-QA : un ensemble de données de référence de questions-réponses médicales pan-africain et multi-spécialités

AfriMed-QA: A Pan-African, Multi-Specialty, Medical Question-Answering Benchmark Dataset

November 23, 2024

Auteurs: Tobi Olatunji, Charles Nimo, Abraham Owodunni, Tassallah Abdullahi, Emmanuel Ayodele, Mardhiyah Sanni, Chinemelu Aka, Folafunmi Omofoye, Foutse Yuehgoh, Timothy Faniran, Bonaventure F. P. Dossou, Moshood Yekini, Jonas Kemp, Katherine Heller, Jude Chidubem Omeke, Chidi Asuzu MD, Naome A. Etori, Aimérou Ndiaye, Ifeoma Okoh, Evans Doe Ocansey, Wendy Kinara, Michael Best, Irfan Essa, Stephen Edward Moore, Chris Fourie, Mercy Nyamewaa Asiedu

cs.AI

Résumé

Les récents progrès dans les performances des grands modèles de langage (LLM) sur les bancs d'essai de questions à choix multiples (QCM) médicales ont suscité un intérêt chez les prestataires de soins de santé et les patients du monde entier. Particulièrement dans les pays à revenu faible et intermédiaire (LMIC) confrontés à une pénurie aiguë de médecins et à un manque de spécialistes, les LLM offrent une voie potentiellement évolutive pour améliorer l'accès aux soins de santé et réduire les coûts. Cependant, leur efficacité dans le Sud global, notamment à travers le continent africain, reste à établir. Dans ce travail, nous présentons AfriMed-QA, le premier ensemble de données de questions-réponses médicales multi-spécialités en anglais pan-africain à grande échelle, comprenant 15 000 questions (ouvertes et à choix multiples) provenant de plus de 60 écoles de médecine dans 16 pays, couvrant 32 spécialités médicales. Nous évaluons en outre 30 LLM selon plusieurs axes, y compris la justesse et les biais démographiques. Nos résultats montrent une variation significative des performances selon les spécialités et les géographies, les performances en QCM étant nettement inférieures à l'USMLE (MedQA). Nous constatons que les LLM biomédicaux sont moins performants que les modèles généraux et que les LLM plus petits et adaptés aux ressources ont du mal à obtenir une note de passage. De manière intéressante, les évaluations humaines montrent une préférence constante des consommateurs pour les réponses et explications des LLM par rapport aux réponses des cliniciens.

English

Recent advancements in large language model(LLM) performance on medical multiple choice question (MCQ) benchmarks have stimulated interest from healthcare providers and patients globally. Particularly in low-and middle-income countries (LMICs) facing acute physician shortages and lack of specialists, LLMs offer a potentially scalable pathway to enhance healthcare access and reduce costs. However, their effectiveness in the Global South, especially across the African continent, remains to be established. In this work, we introduce AfriMed-QA, the first large scale Pan-African English multi-specialty medical Question-Answering (QA) dataset, 15,000 questions (open and closed-ended) sourced from over 60 medical schools across 16 countries, covering 32 medical specialties. We further evaluate 30 LLMs across multiple axes including correctness and demographic bias. Our findings show significant performance variation across specialties and geographies, MCQ performance clearly lags USMLE (MedQA). We find that biomedical LLMs underperform general models and smaller edge-friendly LLMs struggle to achieve a passing score. Interestingly, human evaluations show a consistent consumer preference for LLM answers and explanations when compared with clinician answers.