Enigmi Visivi: una Sfida di Senso Comune e Conoscenza del Mondo per i Grandi Modelli di Visione e Linguaggio

Visual Riddles: a Commonsense and World Knowledge Challenge for Large Vision and Language Models

July 28, 2024

Autori: Nitzan Bitton-Guetta, Aviv Slobodkin, Aviya Maimon, Eliya Habba, Royi Rassin, Yonatan Bitton, Idan Szpektor, Amir Globerson, Yuval Elovici

cs.AI

Abstract

Immagina di osservare qualcuno che si gratta il braccio; per capire il motivo, sarebbe necessario un contesto aggiuntivo. Tuttavia, notare una zanzara nelle vicinanze offrirebbe immediatamente una spiegazione plausibile per il disagio della persona, eliminando così la necessità di ulteriori informazioni. Questo esempio illustra come sottili indizi visivi possano mettere alla prova le nostre capacità cognitive e dimostra la complessità dell'interpretazione di scenari visivi. Per studiare queste abilità, presentiamo Visual Riddles, un benchmark progettato per testare modelli di visione e linguaggio su enigmi visivi che richiedono buonsenso e conoscenza del mondo. Il benchmark comprende 400 enigmi visivi, ciascuno caratterizzato da un'immagine unica creata da vari modelli di testo-immagine, una domanda, una risposta corretta, un suggerimento testuale e un'attribuzione. La valutazione umana rivela che i modelli esistenti sono significativamente inferiori alle prestazioni umane, che raggiungono un'accuratezza dell'82%, con Gemini-Pro-1.5 in testa con un'accuratezza del 40%. Il nostro benchmark include compiti di valutazione automatica per rendere la valutazione scalabile. Questi risultati sottolineano il potenziale di Visual Riddles come risorsa preziosa per migliorare le capacità dei modelli di visione e linguaggio nell'interpretazione di scenari visivi complessi.

English

Imagine observing someone scratching their arm; to understand why, additional context would be necessary. However, spotting a mosquito nearby would immediately offer a likely explanation for the person's discomfort, thereby alleviating the need for further information. This example illustrates how subtle visual cues can challenge our cognitive skills and demonstrates the complexity of interpreting visual scenarios. To study these skills, we present Visual Riddles, a benchmark aimed to test vision and language models on visual riddles requiring commonsense and world knowledge. The benchmark comprises 400 visual riddles, each featuring a unique image created by a variety of text-to-image models, question, ground-truth answer, textual hint, and attribution. Human evaluation reveals that existing models lag significantly behind human performance, which is at 82\% accuracy, with Gemini-Pro-1.5 leading with 40\% accuracy. Our benchmark comes with automatic evaluation tasks to make assessment scalable. These findings underscore the potential of Visual Riddles as a valuable resource for enhancing vision and language models' capabilities in interpreting complex visual scenarios.