CVQA: Benchmark de Resposta a Perguntas Visuais Multilíngue com Diversidade Cultural

Resumo

A Resposta Visual a Perguntas (VQA, do inglês Visual Question Answering) é uma tarefa importante na IA multimodal, frequentemente utilizada para testar a capacidade dos modelos de visão e linguagem de compreender e raciocinar sobre o conhecimento presente em dados visuais e textuais. No entanto, a maioria dos modelos atuais de VQA utiliza conjuntos de dados focados principalmente no inglês e em algumas das principais línguas mundiais, com imagens tipicamente centradas na cultura ocidental. Embora esforços recentes tenham tentado aumentar o número de idiomas cobertos em conjuntos de dados de VQA, ainda há uma falta de diversidade em línguas de baixo recurso. Mais importante, embora esses conjuntos de dados frequentemente ampliem seu alcance linguístico por meio de tradução ou outras abordagens, eles geralmente mantêm as mesmas imagens, resultando em uma representação cultural limitada. Para abordar essas limitações, construímos o CVQA, um novo benchmark de Resposta Visual a Perguntas multilíngue e culturalmente diverso, projetado para abranger um conjunto rico de idiomas e culturas, no qual envolvemos falantes nativos e especialistas culturais no processo de coleta de dados. Como resultado, o CVQA inclui imagens e perguntas culturalmente orientadas de 28 países em quatro continentes, abrangendo 26 idiomas com 11 sistemas de escrita, totalizando 9 mil perguntas. Em seguida, avaliamos vários Modelos de Linguagem Multimodais de Grande Escala (MLLMs, do inglês Multimodal Large Language Models) no CVQA e mostramos que o conjunto de dados é desafiador para os modelos mais avançados atualmente. Este benchmark pode servir como uma suíte de avaliação para analisar a capacidade cultural e o viés de modelos multimodais, e esperamos que incentive mais esforços de pesquisa para aumentar a conscientização cultural e a diversidade linguística nesse campo.

English

Visual Question Answering (VQA) is an important task in multimodal AI, and it is often used to test the ability of vision-language models to understand and reason on knowledge present in both visual and textual data. However, most of the current VQA models use datasets that are primarily focused on English and a few major world languages, with images that are typically Western-centric. While recent efforts have tried to increase the number of languages covered on VQA datasets, they still lack diversity in low-resource languages. More importantly, although these datasets often extend their linguistic range via translation or some other approaches, they usually keep images the same, resulting in narrow cultural representation. To address these limitations, we construct CVQA, a new Culturally-diverse multilingual Visual Question Answering benchmark, designed to cover a rich set of languages and cultures, where we engage native speakers and cultural experts in the data collection process. As a result, CVQA includes culturally-driven images and questions from across 28 countries on four continents, covering 26 languages with 11 scripts, providing a total of 9k questions. We then benchmark several Multimodal Large Language Models (MLLMs) on CVQA, and show that the dataset is challenging for the current state-of-the-art models. This benchmark can serve as a probing evaluation suite for assessing the cultural capability and bias of multimodal models and hopefully encourage more research efforts toward increasing cultural awareness and linguistic diversity in this field.

CVQA: Benchmark de Resposta a Perguntas Visuais Multilíngue com Diversidade Cultural

CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark

Resumo

Support