Визуальные загадки: вызов для моделей большого масштаба, объединяющий здравый смысл и мировые знания в области зрения и языка.

Visual Riddles: a Commonsense and World Knowledge Challenge for Large Vision and Language Models

July 28, 2024

Авторы: Nitzan Bitton-Guetta, Aviv Slobodkin, Aviya Maimon, Eliya Habba, Royi Rassin, Yonatan Bitton, Idan Szpektor, Amir Globerson, Yuval Elovici

cs.AI

Аннотация

Представьте, что вы видите, как кто-то чешет себе руку; чтобы понять причину этого, требуется дополнительный контекст. Однако замечание находящегося поблизости комара сразу же предложит вероятное объяснение для дискомфорта человека, тем самым уменьшая необходимость в дополнительной информации. Этот пример иллюстрирует, как тонкие визуальные подсказки могут вызвать вызов нашим когнитивным способностям и демонстрируют сложность интерпретации визуальных сценариев. Для изучения этих навыков мы представляем Visual Riddles, бенчмарк, направленный на тестирование моделей зрения и языка на визуальных загадках, требующих здравого смысла и мировых знаний. Бенчмарк включает 400 визуальных загадок, каждая из которых содержит уникальное изображение, созданное различными моделями текст-в-изображение, вопрос, правильный ответ, текстовую подсказку и атрибуцию. Человеческая оценка показывает, что существующие модели значительно отстают от человеческой производительности, которая составляет 82% точности, причем Gemini-Pro-1.5 лидирует с 40% точности. Наш бенчмарк сопровождается автоматическими заданиями оценки для обеспечения масштабируемости оценки. Эти результаты подчеркивают потенциал Visual Riddles как ценного ресурса для улучшения возможностей моделей зрения и языка в интерпретации сложных визуальных сценариев.

English

Imagine observing someone scratching their arm; to understand why, additional context would be necessary. However, spotting a mosquito nearby would immediately offer a likely explanation for the person's discomfort, thereby alleviating the need for further information. This example illustrates how subtle visual cues can challenge our cognitive skills and demonstrates the complexity of interpreting visual scenarios. To study these skills, we present Visual Riddles, a benchmark aimed to test vision and language models on visual riddles requiring commonsense and world knowledge. The benchmark comprises 400 visual riddles, each featuring a unique image created by a variety of text-to-image models, question, ground-truth answer, textual hint, and attribution. Human evaluation reveals that existing models lag significantly behind human performance, which is at 82\% accuracy, with Gemini-Pro-1.5 leading with 40\% accuracy. Our benchmark comes with automatic evaluation tasks to make assessment scalable. These findings underscore the potential of Visual Riddles as a valuable resource for enhancing vision and language models' capabilities in interpreting complex visual scenarios.