CVQA: Cultureel-diverse meertalige benchmark voor visuele vraagbeantwoording

Samenvatting

Visuele Vraag Beantwoording (VQA) is een belangrijke taak binnen multimodale AI, en wordt vaak gebruikt om het vermogen van visueel-taalmodelen te testen om kennis in zowel visuele als tekstuele data te begrijpen en te redeneren. De meeste huidige VQA-modellen gebruiken echter datasets die voornamelijk gericht zijn op Engels en een paar grote wereldtalen, met afbeeldingen die typisch westers georiënteerd zijn. Hoewel recente inspanningen hebben geprobeerd het aantal talen in VQA-datasets uit te breiden, ontbreekt het nog steeds aan diversiteit in talen met beperkte bronnen. Belangrijker is dat, hoewel deze datasets vaak hun linguïstische bereik uitbreiden via vertaling of andere benaderingen, ze meestal dezelfde afbeeldingen behouden, wat resulteert in een beperkte culturele representatie. Om deze beperkingen aan te pakken, hebben we CVQA geconstrueerd, een nieuwe cultureel diverse meertalige Visual Question Answering benchmark, ontworpen om een rijke set van talen en culturen te bestrijken, waarbij we moedertaalsprekers en culturele experts betrekken in het datacollectieproces. Als resultaat omvat CVQA cultureel gedreven afbeeldingen en vragen uit 28 landen op vier continenten, die 26 talen met 11 schriften bestrijken, en biedt het in totaal 9k vragen. We hebben vervolgens verschillende Multimodale Grote Taalmodellen (MLLMs) op CVQA gebenchmarkt, en laten zien dat de dataset uitdagend is voor de huidige state-of-the-art modellen. Deze benchmark kan dienen als een evaluatiesuite om de culturele capaciteit en bias van multimodale modellen te beoordelen en hopelijk meer onderzoeksinspanningen aanmoedigen om het culturele bewustzijn en de linguïstische diversiteit in dit veld te vergroten.

English

Visual Question Answering (VQA) is an important task in multimodal AI, and it is often used to test the ability of vision-language models to understand and reason on knowledge present in both visual and textual data. However, most of the current VQA models use datasets that are primarily focused on English and a few major world languages, with images that are typically Western-centric. While recent efforts have tried to increase the number of languages covered on VQA datasets, they still lack diversity in low-resource languages. More importantly, although these datasets often extend their linguistic range via translation or some other approaches, they usually keep images the same, resulting in narrow cultural representation. To address these limitations, we construct CVQA, a new Culturally-diverse multilingual Visual Question Answering benchmark, designed to cover a rich set of languages and cultures, where we engage native speakers and cultural experts in the data collection process. As a result, CVQA includes culturally-driven images and questions from across 28 countries on four continents, covering 26 languages with 11 scripts, providing a total of 9k questions. We then benchmark several Multimodal Large Language Models (MLLMs) on CVQA, and show that the dataset is challenging for the current state-of-the-art models. This benchmark can serve as a probing evaluation suite for assessing the cultural capability and bias of multimodal models and hopefully encourage more research efforts toward increasing cultural awareness and linguistic diversity in this field.

CVQA: Cultureel-diverse meertalige benchmark voor visuele vraagbeantwoording

CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark

Samenvatting

Support