Afri-MCQA: Respuesta a Preguntas Culturales Multimodales para Lenguas Africanas
Afri-MCQA: Multimodal Cultural Question Answering for African Languages
January 9, 2026
Autores: Atnafu Lambebo Tonja, Srija Anand, Emilio Villa-Cueva, Israel Abebe Azime, Jesujoba Oluwadara Alabi, Muhidin A. Mohamed, Debela Desalegn Yadeta, Negasi Haile Abadi, Abigail Oppong, Nnaemeka Casmir Obiefuna, Idris Abdulmumin, Naome A Etori, Eric Peter Wairagala, Kanda Patrick Tshinu, Imanigirimbabazi Emmanuel, Gabofetswe Malema, Alham Fikri Aji, David Ifeoluwa Adelani, Thamar Solorio
cs.AI
Resumen
África alberga más de un tercio de los idiomas del mundo, pero sigue estando infrarrepresentada en la investigación de IA. Presentamos Afri-MCQA, el primer benchmark de preguntas y respuestas culturales multilingüe que abarca 7.500 pares de preguntas y respuestas en 15 lenguas africanas de 12 países. El benchmark ofrece pares de preguntas y respuestas paralelos inglés-lengua africana a través de modalidades de texto y voz, y fue creado íntegramente por hablantes nativos. La evaluación de modelos de lenguaje grandes (LLMs) en Afri-MCQA muestra que los modelos de pesos abiertos tienen un rendimiento deficiente en las culturas evaluadas, con una precisión cercana a cero en VQA de respuesta abierta cuando se consulta en lengua nativa o por voz. Para evaluar la competencia lingüística, incluimos experimentos de control diseñados para valorar este aspecto específico de forma separada del conocimiento cultural, y observamos brechas significativas de rendimiento entre las lenguas nativas y el inglés, tanto en texto como en voz. Estos hallazgos subrayan la necesidad de enfoques centrados en el habla, preentrenamiento culturalmente fundamentado y transferencia cultural crosslingüe. Para apoyar un desarrollo de IA multimodal más inclusivo en lenguas africanas, publicamos nuestro Afri-MCQA bajo licencia académica o CC BY-NC 4.0 en HuggingFace (https://huggingface.co/datasets/Atnafu/Afri-MCQA).
English
Africa is home to over one-third of the world's languages, yet remains underrepresented in AI research. We introduce Afri-MCQA, the first Multilingual Cultural Question-Answering benchmark covering 7.5k Q&A pairs across 15 African languages from 12 countries. The benchmark offers parallel English-African language Q&A pairs across text and speech modalities and was entirely created by native speakers. Benchmarking large language models (LLMs) on Afri-MCQA shows that open-weight models perform poorly across evaluated cultures, with near-zero accuracy on open-ended VQA when queried in native language or speech. To evaluate linguistic competence, we include control experiments meant to assess this specific aspect separate from cultural knowledge, and we observe significant performance gaps between native languages and English for both text and speech. These findings underscore the need for speech-first approaches, culturally grounded pretraining, and cross-lingual cultural transfer. To support more inclusive multimodal AI development in African languages, we release our Afri-MCQA under academic license or CC BY-NC 4.0 on HuggingFace (https://huggingface.co/datasets/Atnafu/Afri-MCQA)