AfriMed-QA: パンアフリカン、マルチスペシャリティ、医学に関する質問応答ベンチマークデータセット

AfriMed-QA: A Pan-African, Multi-Specialty, Medical Question-Answering Benchmark Dataset

November 23, 2024

著者: Tobi Olatunji, Charles Nimo, Abraham Owodunni, Tassallah Abdullahi, Emmanuel Ayodele, Mardhiyah Sanni, Chinemelu Aka, Folafunmi Omofoye, Foutse Yuehgoh, Timothy Faniran, Bonaventure F. P. Dossou, Moshood Yekini, Jonas Kemp, Katherine Heller, Jude Chidubem Omeke, Chidi Asuzu MD, Naome A. Etori, Aimérou Ndiaye, Ifeoma Okoh, Evans Doe Ocansey, Wendy Kinara, Michael Best, Irfan Essa, Stephen Edward Moore, Chris Fourie, Mercy Nyamewaa Asiedu

cs.AI

要旨

最近、医療の多肢選択問題（MCQ）のベンチマークにおける大規模言語モデル（LLM）の性能向上が、世界中の医療提供者や患者の関心を高めています。特に、医師不足や専門家不足に直面している低所得および中所得国（LMICs）では、LLMは医療アクセスの向上とコスト削減のための拡張可能な手段を提供しています。しかし、特にアフリカ大陸全体を含むグローバルサウスにおけるその有効性は確立されていません。本研究では、初めての大規模パンアフリカン英語マルチスペシャリティ医療質問応答（QA）データセットであるAfriMed-QAを紹介します。このデータセットには、16カ国の60以上の医学校から収集された15,000の質問（開放形式および閉鎖形式）が含まれており、32の医療専門分野をカバーしています。さらに、正確性や人口統計の偏りを含む複数の軸にわたって30のLLMを評価します。我々の調査結果によると、専門分野や地理によって性能に大きなばらつきがあり、MCQの性能は明らかにUSMLE（MedQA）に遅れています。バイオメディカルLLMは一般モデルよりも性能が低く、小規模でエッジに優しいLLMは合格点を達成するのに苦労しています。興味深いことに、人間の評価では、臨床医の回答と比較して、LLMの回答と説明に対する一貫した消費者の好みが示されています。

English

Recent advancements in large language model(LLM) performance on medical multiple choice question (MCQ) benchmarks have stimulated interest from healthcare providers and patients globally. Particularly in low-and middle-income countries (LMICs) facing acute physician shortages and lack of specialists, LLMs offer a potentially scalable pathway to enhance healthcare access and reduce costs. However, their effectiveness in the Global South, especially across the African continent, remains to be established. In this work, we introduce AfriMed-QA, the first large scale Pan-African English multi-specialty medical Question-Answering (QA) dataset, 15,000 questions (open and closed-ended) sourced from over 60 medical schools across 16 countries, covering 32 medical specialties. We further evaluate 30 LLMs across multiple axes including correctness and demographic bias. Our findings show significant performance variation across specialties and geographies, MCQ performance clearly lags USMLE (MedQA). We find that biomedical LLMs underperform general models and smaller edge-friendly LLMs struggle to achieve a passing score. Interestingly, human evaluations show a consistent consumer preference for LLM answers and explanations when compared with clinician answers.