Énigmes visuelles : un défi de bon sens et de connaissances du monde pour les grands modèles de vision et de langage

Visual Riddles: a Commonsense and World Knowledge Challenge for Large Vision and Language Models

July 28, 2024

Auteurs: Nitzan Bitton-Guetta, Aviv Slobodkin, Aviya Maimon, Eliya Habba, Royi Rassin, Yonatan Bitton, Idan Szpektor, Amir Globerson, Yuval Elovici

cs.AI

Résumé

Imaginez observer quelqu'un se gratter le bras ; pour comprendre pourquoi, un contexte supplémentaire serait nécessaire. Cependant, repérer un moustique à proximité offrirait immédiatement une explication plausible à l'inconfort de la personne, réduisant ainsi le besoin d'informations supplémentaires. Cet exemple illustre comment des indices visuels subtils peuvent mettre à l'épreuve nos compétences cognitives et démontre la complexité de l'interprétation des scénarios visuels. Pour étudier ces compétences, nous présentons Visual Riddles, un benchmark conçu pour tester les modèles de vision et de langage sur des énigmes visuelles nécessitant du bon sens et des connaissances générales. Le benchmark comprend 400 énigmes visuelles, chacune accompagnée d'une image unique générée par divers modèles de texte à image, d'une question, d'une réponse de référence, d'un indice textuel et d'une attribution. L'évaluation humaine révèle que les modèles existants sont nettement en retard par rapport à la performance humaine, qui atteint 82 % de précision, avec Gemini-Pro-1.5 en tête avec 40 % de précision. Notre benchmark est accompagné de tâches d'évaluation automatique pour rendre l'évaluation scalable. Ces résultats soulignent le potentiel de Visual Riddles en tant que ressource précieuse pour améliorer les capacités des modèles de vision et de langage à interpréter des scénarios visuels complexes.

English

Imagine observing someone scratching their arm; to understand why, additional context would be necessary. However, spotting a mosquito nearby would immediately offer a likely explanation for the person's discomfort, thereby alleviating the need for further information. This example illustrates how subtle visual cues can challenge our cognitive skills and demonstrates the complexity of interpreting visual scenarios. To study these skills, we present Visual Riddles, a benchmark aimed to test vision and language models on visual riddles requiring commonsense and world knowledge. The benchmark comprises 400 visual riddles, each featuring a unique image created by a variety of text-to-image models, question, ground-truth answer, textual hint, and attribution. Human evaluation reveals that existing models lag significantly behind human performance, which is at 82\% accuracy, with Gemini-Pro-1.5 leading with 40\% accuracy. Our benchmark comes with automatic evaluation tasks to make assessment scalable. These findings underscore the potential of Visual Riddles as a valuable resource for enhancing vision and language models' capabilities in interpreting complex visual scenarios.