AfriMed-QA: Um Conjunto de Dados de Referência de Perguntas e Respostas Médicas Pan-Africano e Multiespecializado

AfriMed-QA: A Pan-African, Multi-Specialty, Medical Question-Answering Benchmark Dataset

November 23, 2024

Autores: Tobi Olatunji, Charles Nimo, Abraham Owodunni, Tassallah Abdullahi, Emmanuel Ayodele, Mardhiyah Sanni, Chinemelu Aka, Folafunmi Omofoye, Foutse Yuehgoh, Timothy Faniran, Bonaventure F. P. Dossou, Moshood Yekini, Jonas Kemp, Katherine Heller, Jude Chidubem Omeke, Chidi Asuzu MD, Naome A. Etori, Aimérou Ndiaye, Ifeoma Okoh, Evans Doe Ocansey, Wendy Kinara, Michael Best, Irfan Essa, Stephen Edward Moore, Chris Fourie, Mercy Nyamewaa Asiedu

cs.AI

Resumo

Os avanços recentes no desempenho de grandes modelos de linguagem (LLM) em questões médicas de múltipla escolha (MCQ) têm estimulado o interesse de prestadores de cuidados de saúde e pacientes globalmente. Especialmente em países de baixa e média renda (LMICs) que enfrentam escassez aguda de médicos e falta de especialistas, os LLMs oferecem um caminho potencialmente escalável para melhorar o acesso à saúde e reduzir custos. No entanto, sua eficácia no Sul Global, especialmente em todo o continente africano, ainda precisa ser estabelecida. Neste trabalho, apresentamos o AfriMed-QA, o primeiro conjunto de dados de Perguntas e Respostas (QA) médicas em inglês de grande escala pan-africano multi-especialidade, com 15.000 perguntas (abertas e fechadas) provenientes de mais de 60 escolas de medicina em 16 países, abrangendo 32 especialidades médicas. Avaliamos ainda 30 LLMs em vários eixos, incluindo correção e viés demográfico. Nossas descobertas mostram uma variação significativa no desempenho entre especialidades e geografias, sendo que o desempenho em MCQ claramente fica aquém do USMLE (MedQA). Constatamos que os LLMs biomédicos têm um desempenho inferior aos modelos gerais e os LLMs menores e mais amigáveis à borda têm dificuldade em atingir uma pontuação mínima. Curiosamente, as avaliações humanas mostram uma preferência do consumidor consistente pelas respostas e explicações dos LLMs quando comparadas com as respostas dos clínicos.

English

Recent advancements in large language model(LLM) performance on medical multiple choice question (MCQ) benchmarks have stimulated interest from healthcare providers and patients globally. Particularly in low-and middle-income countries (LMICs) facing acute physician shortages and lack of specialists, LLMs offer a potentially scalable pathway to enhance healthcare access and reduce costs. However, their effectiveness in the Global South, especially across the African continent, remains to be established. In this work, we introduce AfriMed-QA, the first large scale Pan-African English multi-specialty medical Question-Answering (QA) dataset, 15,000 questions (open and closed-ended) sourced from over 60 medical schools across 16 countries, covering 32 medical specialties. We further evaluate 30 LLMs across multiple axes including correctness and demographic bias. Our findings show significant performance variation across specialties and geographies, MCQ performance clearly lags USMLE (MedQA). We find that biomedical LLMs underperform general models and smaller edge-friendly LLMs struggle to achieve a passing score. Interestingly, human evaluations show a consistent consumer preference for LLM answers and explanations when compared with clinician answers.