Afri-MCQA: Questionário de Resposta a Perguntas Culturais Multimodais para Línguas Africanas
Afri-MCQA: Multimodal Cultural Question Answering for African Languages
January 9, 2026
Autores: Atnafu Lambebo Tonja, Srija Anand, Emilio Villa-Cueva, Israel Abebe Azime, Jesujoba Oluwadara Alabi, Muhidin A. Mohamed, Debela Desalegn Yadeta, Negasi Haile Abadi, Abigail Oppong, Nnaemeka Casmir Obiefuna, Idris Abdulmumin, Naome A Etori, Eric Peter Wairagala, Kanda Patrick Tshinu, Imanigirimbabazi Emmanuel, Gabofetswe Malema, Alham Fikri Aji, David Ifeoluwa Adelani, Thamar Solorio
cs.AI
Resumo
A África abriga mais de um terço dos idiomas do mundo, mas continua sub-representada na pesquisa em IA. Apresentamos o Afri-MCQA, o primeiro benchmark de Perguntas e Respostas de Cunho Cultural e Multilíngue, abrangendo 7,5 mil pares de perguntas e respostas em 15 línguas africanas de 12 países. O benchmark oferece pares de perguntas e respostas paralelos em inglês e línguas africanas através das modalidades de texto e fala e foi inteiramente criado por falantes nativos. A avaliação de modelos de linguagem de grande escala (LLMs) no Afri-MCQA mostra que os modelos de pesos abertos têm um desempenho fraco em todas as culturas avaliadas, com precisão próxima de zero em VQA de resposta aberta quando consultados na língua nativa ou por fala. Para avaliar a competência linguística, incluímos experimentos de controle destinados a avaliar este aspeto específico, separado do conhecimento cultural, e observamos lacunas de desempenho significativas entre as línguas nativas e o inglês, tanto para texto como para fala. Estas descobertas ressaltam a necessidade de abordagens centradas na fala, de pré-treinamento fundamentado culturalmente e de transferência cultural cross-lingual. Para apoiar um desenvolvimento de IA multimodal mais inclusivo nas línguas africanas, disponibilizamos o nosso Afri-MCQA sob licença académica ou CC BY-NC 4.0 no HuggingFace (https://huggingface.co/datasets/Atnafu/Afri-MCQA).
English
Africa is home to over one-third of the world's languages, yet remains underrepresented in AI research. We introduce Afri-MCQA, the first Multilingual Cultural Question-Answering benchmark covering 7.5k Q&A pairs across 15 African languages from 12 countries. The benchmark offers parallel English-African language Q&A pairs across text and speech modalities and was entirely created by native speakers. Benchmarking large language models (LLMs) on Afri-MCQA shows that open-weight models perform poorly across evaluated cultures, with near-zero accuracy on open-ended VQA when queried in native language or speech. To evaluate linguistic competence, we include control experiments meant to assess this specific aspect separate from cultural knowledge, and we observe significant performance gaps between native languages and English for both text and speech. These findings underscore the need for speech-first approaches, culturally grounded pretraining, and cross-lingual cultural transfer. To support more inclusive multimodal AI development in African languages, we release our Afri-MCQA under academic license or CC BY-NC 4.0 on HuggingFace (https://huggingface.co/datasets/Atnafu/Afri-MCQA)