Afri-MCQA: Multimodales kulturelles Frage-Antwort-System für afrikanische Sprachen
Afri-MCQA: Multimodal Cultural Question Answering for African Languages
January 9, 2026
papers.authors: Atnafu Lambebo Tonja, Srija Anand, Emilio Villa-Cueva, Israel Abebe Azime, Jesujoba Oluwadara Alabi, Muhidin A. Mohamed, Debela Desalegn Yadeta, Negasi Haile Abadi, Abigail Oppong, Nnaemeka Casmir Obiefuna, Idris Abdulmumin, Naome A Etori, Eric Peter Wairagala, Kanda Patrick Tshinu, Imanigirimbabazi Emmanuel, Gabofetswe Malema, Alham Fikri Aji, David Ifeoluwa Adelani, Thamar Solorio
cs.AI
papers.abstract
Afrika beherbergt über ein Drittel aller Sprachen der Welt, ist jedoch in der KI-Forschung nach wie vor unterrepräsentiert. Wir stellen Afri-MCQA vor, den ersten multikulturellen Benchmark für Frage-Antwort-Aufgaben, der 7.500 Frage-Antwort-Paare in 15 afrikanischen Sprachen aus 12 Ländern umfasst. Der Benchmark bietet parallele Frage-Antwort-Paare in Englisch und afrikanischen Sprachen in Text- und Sprachmodalitäten und wurde vollständig von Muttersprachlern erstellt. Die Evaluierung großer Sprachmodelle (LLMs) anhand von Afri-MCQA zeigt, dass Open-Weight-Modelle in allen untersuchten Kulturräumen schlecht abschneiden, mit einer Genauigkeit nahe null bei offenen VQA-Aufgaben, wenn die Abfrage in der Muttersprache oder per Spracheingabe erfolgt. Um die linguistische Kompetenz zu bewerten, haben wir Kontrollexperimente eingeschlossen, die diesen spezifischen Aspekt unabhängig vom Kulturwissen erfassen sollen. Dabei beobachten wir signifikante Leistungsunterschiede zwischen Muttersprachen und Englisch, sowohl bei Text als auch bei Sprache. Diese Ergebnisse unterstreichen die Notwendigkeit von sprachzentrierten Ansätzen, kulturell fundiertem Pre-training und cross-lingualem Kulturtransfer. Um eine inklusivere Entwicklung multimodaler KI für afrikanische Sprachen zu unterstützen, veröffentlichen wir unser Afri-MCQA unter einer akademischen Lizenz bzw. CC BY-NC 4.0 auf HuggingFace (https://huggingface.co/datasets/Atnafu/Afri-MCQA).
English
Africa is home to over one-third of the world's languages, yet remains underrepresented in AI research. We introduce Afri-MCQA, the first Multilingual Cultural Question-Answering benchmark covering 7.5k Q&A pairs across 15 African languages from 12 countries. The benchmark offers parallel English-African language Q&A pairs across text and speech modalities and was entirely created by native speakers. Benchmarking large language models (LLMs) on Afri-MCQA shows that open-weight models perform poorly across evaluated cultures, with near-zero accuracy on open-ended VQA when queried in native language or speech. To evaluate linguistic competence, we include control experiments meant to assess this specific aspect separate from cultural knowledge, and we observe significant performance gaps between native languages and English for both text and speech. These findings underscore the need for speech-first approaches, culturally grounded pretraining, and cross-lingual cultural transfer. To support more inclusive multimodal AI development in African languages, we release our Afri-MCQA under academic license or CC BY-NC 4.0 on HuggingFace (https://huggingface.co/datasets/Atnafu/Afri-MCQA)