Обоснование зрительных иллюзий в языке: Воспринимают ли модели "зрение-язык" иллюзии как люди?

Grounding Visual Illusions in Language: Do Vision-Language Models Perceive Illusions Like Humans?

October 31, 2023

Авторы: Yichi Zhang, Jiayi Pan, Yuchen Zhou, Rui Pan, Joyce Chai

cs.AI

Аннотация

Модели, объединяющие зрение и язык (Vision-Language Models, VLMs), обучаются на огромных объемах данных, собранных людьми, что имитирует наше понимание мира. Однако, как известно из феномена зрительных иллюзий, человеческое восприятие реальности не всегда соответствует физическому миру. Это поднимает важный вопрос: испытывают ли VLMs аналогичные иллюзии, как и люди, или же они точно учатся представлять реальность? Чтобы исследовать этот вопрос, мы создали набор данных, содержащий пять типов зрительных иллюзий, и разработали четыре задачи для изучения зрительных иллюзий в современных VLMs. Наши результаты показали, что, хотя общее соответствие низкое, более крупные модели ближе к человеческому восприятию и более подвержены зрительным иллюзиям. Наш набор данных и первоначальные выводы способствуют лучшему пониманию зрительных иллюзий у людей и машин и служат основой для будущих вычислительных моделей, которые смогут лучше согласовывать восприятие и коммуникацию людей и машин в общем визуальном мире. Код и данные доступны по адресу https://github.com/vl-illusion/dataset.

English

Vision-Language Models (VLMs) are trained on vast amounts of data captured by humans emulating our understanding of the world. However, known as visual illusions, human's perception of reality isn't always faithful to the physical world. This raises a key question: do VLMs have the similar kind of illusions as humans do, or do they faithfully learn to represent reality? To investigate this question, we build a dataset containing five types of visual illusions and formulate four tasks to examine visual illusions in state-of-the-art VLMs. Our findings have shown that although the overall alignment is low, larger models are closer to human perception and more susceptible to visual illusions. Our dataset and initial findings will promote a better understanding of visual illusions in humans and machines and provide a stepping stone for future computational models that can better align humans and machines in perceiving and communicating about the shared visual world. The code and data are available at https://github.com/vl-illusion/dataset.