Enigmas Visuais: um Desafio de Senso Comum e Conhecimento do Mundo para Modelos de Visão e Linguagem em Grande Escala

Visual Riddles: a Commonsense and World Knowledge Challenge for Large Vision and Language Models

July 28, 2024

Autores: Nitzan Bitton-Guetta, Aviv Slobodkin, Aviya Maimon, Eliya Habba, Royi Rassin, Yonatan Bitton, Idan Szpektor, Amir Globerson, Yuval Elovici

cs.AI

Resumo

Imagine observar alguém coçando o braço; para entender o motivo, seria necessária uma contexto adicional. No entanto, ao avistar um mosquito nas proximidades, isso imediatamente ofereceria uma explicação provável para o desconforto da pessoa, aliviando assim a necessidade de mais informações. Este exemplo ilustra como pistas visuais sutis podem desafiar nossas habilidades cognitivas e demonstra a complexidade de interpretar cenários visuais. Para estudar essas habilidades, apresentamos Enigmas Visuais, um benchmark destinado a testar modelos de visão e linguagem em enigmas visuais que exigem senso comum e conhecimento do mundo. O benchmark é composto por 400 enigmas visuais, cada um apresentando uma imagem única criada por uma variedade de modelos texto-imagem, pergunta, resposta correta, dica textual e atribuição. A avaliação humana revela que os modelos existentes ficam significativamente aquém do desempenho humano, que é de 82% de precisão, com o Gemini-Pro-1.5 liderando com 40% de precisão. Nosso benchmark vem com tarefas de avaliação automática para tornar a avaliação escalável. Essas descobertas destacam o potencial dos Enigmas Visuais como um recurso valioso para aprimorar as capacidades dos modelos de visão e linguagem na interpretação de cenários visuais complexos.

English

Imagine observing someone scratching their arm; to understand why, additional context would be necessary. However, spotting a mosquito nearby would immediately offer a likely explanation for the person's discomfort, thereby alleviating the need for further information. This example illustrates how subtle visual cues can challenge our cognitive skills and demonstrates the complexity of interpreting visual scenarios. To study these skills, we present Visual Riddles, a benchmark aimed to test vision and language models on visual riddles requiring commonsense and world knowledge. The benchmark comprises 400 visual riddles, each featuring a unique image created by a variety of text-to-image models, question, ground-truth answer, textual hint, and attribution. Human evaluation reveals that existing models lag significantly behind human performance, which is at 82\% accuracy, with Gemini-Pro-1.5 leading with 40\% accuracy. Our benchmark comes with automatic evaluation tasks to make assessment scalable. These findings underscore the potential of Visual Riddles as a valuable resource for enhancing vision and language models' capabilities in interpreting complex visual scenarios.