Afri-MCQA: Multimodale Culturele Vragen Beantwoorden voor Afrikaanse Talen
Afri-MCQA: Multimodal Cultural Question Answering for African Languages
January 9, 2026
Auteurs: Atnafu Lambebo Tonja, Srija Anand, Emilio Villa-Cueva, Israel Abebe Azime, Jesujoba Oluwadara Alabi, Muhidin A. Mohamed, Debela Desalegn Yadeta, Negasi Haile Abadi, Abigail Oppong, Nnaemeka Casmir Obiefuna, Idris Abdulmumin, Naome A Etori, Eric Peter Wairagala, Kanda Patrick Tshinu, Imanigirimbabazi Emmanuel, Gabofetswe Malema, Alham Fikri Aji, David Ifeoluwa Adelani, Thamar Solorio
cs.AI
Samenvatting
Afrika herbergt meer dan een derde van alle talen ter wereld, maar blijft ondervertegenwoordigd in AI-onderzoek. Wij introduceren Afri-MCQA, de eerste meertalige culturele vraag-en-antwoordbenchmark met 7.500 vraag-antwoordparen in 15 Afrikaanse talen uit 12 landen. De benchmark biedt parallelle Engels-Afrikaanse vraag-antwoordparen in zowel tekst- als spraakmodaliteiten en werd volledig door moedertaalsprekers samengesteld. Evaluatie van grote taalmodellen (LLM's) op Afri-MCQA toont aan dat open-weight-modellen zwak presteren across verschillende culturen, met een nauwelijks boven nul liggende nauwkeurigheid bij open-einde VQA wanneer bevraagd in de moedertaal of via spraak. Om linguïstische competentie te evalueren, hebben we controle-experimenten opgenomen die dit specifieke aspect, los van culturele kennis, moeten beoordelen. We observeren significante prestatiekloof tussen moedertalen en Engels voor zowel tekst als spraak. Deze bevindingen benadrukken de noodzaak van spraakgerichte benaderingen, cultureel verankerde pretraining en cross-linguale culturele transfer. Om inclusievere multimodale AI-ontwikkeling voor Afrikaanse talen te ondersteunen, publiceren we onze Afri-MCQA onder een academische licentie of CC BY-NC 4.0 op HuggingFace (https://huggingface.co/datasets/Atnafu/Afri-MCQA).
English
Africa is home to over one-third of the world's languages, yet remains underrepresented in AI research. We introduce Afri-MCQA, the first Multilingual Cultural Question-Answering benchmark covering 7.5k Q&A pairs across 15 African languages from 12 countries. The benchmark offers parallel English-African language Q&A pairs across text and speech modalities and was entirely created by native speakers. Benchmarking large language models (LLMs) on Afri-MCQA shows that open-weight models perform poorly across evaluated cultures, with near-zero accuracy on open-ended VQA when queried in native language or speech. To evaluate linguistic competence, we include control experiments meant to assess this specific aspect separate from cultural knowledge, and we observe significant performance gaps between native languages and English for both text and speech. These findings underscore the need for speech-first approaches, culturally grounded pretraining, and cross-lingual cultural transfer. To support more inclusive multimodal AI development in African languages, we release our Afri-MCQA under academic license or CC BY-NC 4.0 on HuggingFace (https://huggingface.co/datasets/Atnafu/Afri-MCQA)