アフリMCQA：アフリカ諸言語におけるマルチモーダル文化質問応答

要旨

アフリカは世界の言語の3分の1以上を擁するにもかかわらず、AI研究における代表性が不十分である。本論文では、12か国15のアフリカ言語にわたり7.5kの質問応答ペアをカバーする、初の多言語文化質問応答ベンチマーク「Afri-MCQA」を提案する。このベンチマークは、テキストと音声の両モダリティにわたる英語とアフリカ諸言語の並列質問応答ペアを提供し、全てネイティブスピーカーによって作成された。大規模言語モデルをAfri-MCQAで評価した結果、公開ウェイトモデルは評価対象の文化圏全体で性能が低く、現地語または音声で質問された場合の自由回答型VQAの正答率はほぼゼロであった。言語能力を評価するため、文化的知識とは切り離してこの特定の側面を評価するための対照実験を含めたところ、テキストと音声の両方において、現地語と英語の間に顕著な性能差が観察された。これらの知見は、音声優先アプローチ、文化に根差した事前学習、そして言語間を超えた文化伝達の必要性を強調するものである。アフリカ言語における包括的なマルチモーダルAI開発を支援するため、Afri-MCQAを学術ライセンスまたはCC BY-NC 4.0のもと、HuggingFace (https://huggingface.co/datasets/Atnafu/Afri-MCQA) で公開する。

English

Africa is home to over one-third of the world's languages, yet remains underrepresented in AI research. We introduce Afri-MCQA, the first Multilingual Cultural Question-Answering benchmark covering 7.5k Q&A pairs across 15 African languages from 12 countries. The benchmark offers parallel English-African language Q&A pairs across text and speech modalities and was entirely created by native speakers. Benchmarking large language models (LLMs) on Afri-MCQA shows that open-weight models perform poorly across evaluated cultures, with near-zero accuracy on open-ended VQA when queried in native language or speech. To evaluate linguistic competence, we include control experiments meant to assess this specific aspect separate from cultural knowledge, and we observe significant performance gaps between native languages and English for both text and speech. These findings underscore the need for speech-first approaches, culturally grounded pretraining, and cross-lingual cultural transfer. To support more inclusive multimodal AI development in African languages, we release our Afri-MCQA under academic license or CC BY-NC 4.0 on HuggingFace (https://huggingface.co/datasets/Atnafu/Afri-MCQA)

アフリMCQA：アフリカ諸言語におけるマルチモーダル文化質問応答

Afri-MCQA: Multimodal Cultural Question Answering for African Languages

要旨

Support