WorldCuisines: Um Benchmark em Grande Escala para Perguntas e Respostas Visuais Multilíngues e Multiculturais sobre Culinárias Globais
WorldCuisines: A Massive-Scale Benchmark for Multilingual and Multicultural Visual Question Answering on Global Cuisines
October 16, 2024
Autores: Genta Indra Winata, Frederikus Hudi, Patrick Amadeus Irawan, David Anugraha, Rifki Afina Putri, Yutong Wang, Adam Nohejl, Ubaidillah Ariq Prathama, Nedjma Ousidhoum, Afifa Amriani, Anar Rzayev, Anirban Das, Ashmari Pramodya, Aulia Adila, Bryan Wilie, Candy Olivia Mawalim, Ching Lam Cheng, Daud Abolade, Emmanuele Chersoni, Enrico Santus, Fariz Ikhwantri, Garry Kuwanto, Hanyang Zhao, Haryo Akbarianto Wibowo, Holy Lovenia, Jan Christian Blaise Cruz, Jan Wira Gotama Putra, Junho Myung, Lucky Susanto, Maria Angelica Riera Machin, Marina Zhukova, Michael Anugraha, Muhammad Farid Adilazuarda, Natasha Santosa, Peerat Limkonchotiwat, Raj Dabre, Rio Alexander Audino, Samuel Cahyawijaya, Shi-Xiong Zhang, Stephanie Yulia Salim, Yi Zhou, Yinxuan Gui, David Ifeoluwa Adelani, En-Shiun Annie Lee, Shogo Okada, Ayu Purwarianti, Alham Fikri Aji, Taro Watanabe, Derry Tanti Wijaya, Alice Oh, Chong-Wah Ngo
cs.AI
Resumo
Os Modelos de Linguagem Visual (VLMs) frequentemente enfrentam dificuldades com conhecimentos específicos de culturas, especialmente em idiomas que não sejam o inglês e em contextos culturais sub-representados. Para avaliar sua compreensão desses conhecimentos, apresentamos o WorldCuisines, um benchmark em grande escala para compreensão de linguagem multilíngue e multicultural, fundamentado visualmente. Este benchmark inclui um conjunto de dados de perguntas e respostas visuais (VQA) com pares de texto e imagem em 30 idiomas e dialetos, abrangendo 9 famílias de idiomas e contendo mais de 1 milhão de pontos de dados, tornando-se o maior benchmark VQA multicultural até o momento. Ele inclui tarefas para identificar nomes de pratos e suas origens. Fornecemos conjuntos de dados de avaliação em dois tamanhos (12k e 60k instâncias) juntamente com um conjunto de dados de treinamento (1 milhão de instâncias). Nossas descobertas mostram que, embora os VLMs tenham um melhor desempenho com o contexto de localização correto, eles enfrentam dificuldades com contextos adversariais e na previsão de culinárias e idiomas regionais específicos. Para apoiar pesquisas futuras, disponibilizamos uma base de conhecimento com entradas alimentares anotadas e imagens juntamente com os dados VQA.
English
Vision Language Models (VLMs) often struggle with culture-specific knowledge,
particularly in languages other than English and in underrepresented cultural
contexts. To evaluate their understanding of such knowledge, we introduce
WorldCuisines, a massive-scale benchmark for multilingual and multicultural,
visually grounded language understanding. This benchmark includes a visual
question answering (VQA) dataset with text-image pairs across 30 languages and
dialects, spanning 9 language families and featuring over 1 million data
points, making it the largest multicultural VQA benchmark to date. It includes
tasks for identifying dish names and their origins. We provide evaluation
datasets in two sizes (12k and 60k instances) alongside a training dataset (1
million instances). Our findings show that while VLMs perform better with
correct location context, they struggle with adversarial contexts and
predicting specific regional cuisines and languages. To support future
research, we release a knowledge base with annotated food entries and images
along with the VQA data.