AfriMed-QA: многофункциональный медицинский набор данных для вопросов и ответов, охватывающий различные специализации в рамках Панафриканского региона

AfriMed-QA: A Pan-African, Multi-Specialty, Medical Question-Answering Benchmark Dataset

November 23, 2024

Авторы: Tobi Olatunji, Charles Nimo, Abraham Owodunni, Tassallah Abdullahi, Emmanuel Ayodele, Mardhiyah Sanni, Chinemelu Aka, Folafunmi Omofoye, Foutse Yuehgoh, Timothy Faniran, Bonaventure F. P. Dossou, Moshood Yekini, Jonas Kemp, Katherine Heller, Jude Chidubem Omeke, Chidi Asuzu MD, Naome A. Etori, Aimérou Ndiaye, Ifeoma Okoh, Evans Doe Ocansey, Wendy Kinara, Michael Best, Irfan Essa, Stephen Edward Moore, Chris Fourie, Mercy Nyamewaa Asiedu

cs.AI

Аннотация

Недавние достижения в области производительности больших языковых моделей (LLM) на медицинских многовариантных тестовых заданиях вызвали интерес у медицинских работников и пациентов по всему миру. Особенно в странах с низким и средним уровнем дохода (ЛСЗ) столкнувшихся с острой нехваткой врачей и отсутствием специалистов, LLM предлагают потенциально масштабируемый путь к улучшению доступа к медицинской помощи и снижению затрат. Однако их эффективность в Южном полушарии, особенно на всем африканском континенте, пока не установлена. В данной работе мы представляем AfriMed-QA, первый крупномасштабный панафриканский англоязычный мульти-специализированный медицинский набор вопросов и ответов (QA) с 15 000 вопросами (открытыми и закрытыми) из более чем 60 медицинских школ 16 стран, охватывающий 32 медицинские специальности. Мы также оцениваем 30 LLM по нескольким осям, включая корректность и демографическую предвзятость. Наши результаты показывают значительное разнообразие в производительности по специальностям и географиям, производительность в многовариантных тестах явно уступает USMLE (MedQA). Мы обнаружили, что биомедицинские LLM показывают худшую производительность по сравнению с общими моделями, а более компактные LLM, дружественные к краю, испытывают трудности с достижением проходного балла. Интересно, что результаты человеческих оценок показывают последовательное предпочтение потребителей ответам и объяснениям LLM по сравнению с ответами клиницистов.

English

Recent advancements in large language model(LLM) performance on medical multiple choice question (MCQ) benchmarks have stimulated interest from healthcare providers and patients globally. Particularly in low-and middle-income countries (LMICs) facing acute physician shortages and lack of specialists, LLMs offer a potentially scalable pathway to enhance healthcare access and reduce costs. However, their effectiveness in the Global South, especially across the African continent, remains to be established. In this work, we introduce AfriMed-QA, the first large scale Pan-African English multi-specialty medical Question-Answering (QA) dataset, 15,000 questions (open and closed-ended) sourced from over 60 medical schools across 16 countries, covering 32 medical specialties. We further evaluate 30 LLMs across multiple axes including correctness and demographic bias. Our findings show significant performance variation across specialties and geographies, MCQ performance clearly lags USMLE (MedQA). We find that biomedical LLMs underperform general models and smaller edge-friendly LLMs struggle to achieve a passing score. Interestingly, human evaluations show a consistent consumer preference for LLM answers and explanations when compared with clinician answers.