AfriMed-QA: un conjunto de datos de referencia de preguntas y respuestas médicas pan-africano y multi-especialidad.

AfriMed-QA: A Pan-African, Multi-Specialty, Medical Question-Answering Benchmark Dataset

November 23, 2024

Autores: Tobi Olatunji, Charles Nimo, Abraham Owodunni, Tassallah Abdullahi, Emmanuel Ayodele, Mardhiyah Sanni, Chinemelu Aka, Folafunmi Omofoye, Foutse Yuehgoh, Timothy Faniran, Bonaventure F. P. Dossou, Moshood Yekini, Jonas Kemp, Katherine Heller, Jude Chidubem Omeke, Chidi Asuzu MD, Naome A. Etori, Aimérou Ndiaye, Ifeoma Okoh, Evans Doe Ocansey, Wendy Kinara, Michael Best, Irfan Essa, Stephen Edward Moore, Chris Fourie, Mercy Nyamewaa Asiedu

cs.AI

Resumen

Los recientes avances en el rendimiento de los modelos de lenguaje grandes (LLM, por sus siglas en inglés) en bancos de preguntas médicas de opción múltiple (MCQ) han estimulado el interés de proveedores de atención médica y pacientes a nivel global. Especialmente en países de ingresos bajos y medianos (LMICs, por sus siglas en inglés) que enfrentan escasez aguda de médicos y falta de especialistas, los LLMs ofrecen un camino potencialmente escalable para mejorar el acceso a la atención médica y reducir costos. Sin embargo, su efectividad en el Sur Global, especialmente en todo el continente africano, aún está por establecerse. En este trabajo, presentamos AfriMed-QA, el primer conjunto de datos de Preguntas-Respuestas (QA) médicas de múltiples especialidades en inglés a gran escala pan-africano, con 15,000 preguntas (abiertas y cerradas) provenientes de más de 60 escuelas de medicina en 16 países, que abarcan 32 especialidades médicas. Además, evaluamos 30 LLMs en múltiples aspectos, incluyendo corrección y sesgo demográfico. Nuestros hallazgos muestran una variación significativa en el rendimiento según las especialidades y geografías, siendo evidente que el rendimiento en MCQ queda rezagado en comparación con USMLE (MedQA). Observamos que los LLMs biomédicos tienen un rendimiento inferior a los modelos generales y que los LLMs más pequeños y amigables con los recursos luchan por alcanzar una puntuación aprobatoria. Curiosamente, las evaluaciones humanas muestran una preferencia del consumidor consistente por las respuestas y explicaciones de LLM en comparación con las respuestas de los clínicos.

English

Recent advancements in large language model(LLM) performance on medical multiple choice question (MCQ) benchmarks have stimulated interest from healthcare providers and patients globally. Particularly in low-and middle-income countries (LMICs) facing acute physician shortages and lack of specialists, LLMs offer a potentially scalable pathway to enhance healthcare access and reduce costs. However, their effectiveness in the Global South, especially across the African continent, remains to be established. In this work, we introduce AfriMed-QA, the first large scale Pan-African English multi-specialty medical Question-Answering (QA) dataset, 15,000 questions (open and closed-ended) sourced from over 60 medical schools across 16 countries, covering 32 medical specialties. We further evaluate 30 LLMs across multiple axes including correctness and demographic bias. Our findings show significant performance variation across specialties and geographies, MCQ performance clearly lags USMLE (MedQA). We find that biomedical LLMs underperform general models and smaller edge-friendly LLMs struggle to achieve a passing score. Interestingly, human evaluations show a consistent consumer preference for LLM answers and explanations when compared with clinician answers.