Visuele illusies verankeren in taal: Waarnemen vision-language modellen illusies zoals mensen?

Grounding Visual Illusions in Language: Do Vision-Language Models Perceive Illusions Like Humans?

October 31, 2023

Auteurs: Yichi Zhang, Jiayi Pan, Yuchen Zhou, Rui Pan, Joyce Chai

cs.AI

Samenvatting

Vision-Language Models (VLMs) worden getraind op enorme hoeveelheden data die door mensen zijn vastgelegd en die ons begrip van de wereld nabootsen. Echter, zoals bekend als visuele illusies, is de menselijke perceptie van de realiteit niet altijd trouw aan de fysieke wereld. Dit roept een belangrijke vraag op: hebben VLMs vergelijkbare illusies als mensen, of leren ze de realiteit getrouw weer te geven? Om deze vraag te onderzoeken, hebben we een dataset samengesteld met vijf soorten visuele illusies en vier taken geformuleerd om visuele illusies in state-of-the-art VLMs te onderzoeken. Onze bevindingen hebben aangetoond dat, hoewel de algehele overeenkomst laag is, grotere modellen dichter bij de menselijke perceptie liggen en gevoeliger zijn voor visuele illusies. Onze dataset en eerste bevindingen zullen een beter begrip bevorderen van visuele illusies bij mensen en machines en bieden een opstap voor toekomstige computationele modellen die mens en machine beter op één lijn kunnen brengen in het waarnemen en communiceren over de gedeelde visuele wereld. De code en data zijn beschikbaar op https://github.com/vl-illusion/dataset.

English

Vision-Language Models (VLMs) are trained on vast amounts of data captured by humans emulating our understanding of the world. However, known as visual illusions, human's perception of reality isn't always faithful to the physical world. This raises a key question: do VLMs have the similar kind of illusions as humans do, or do they faithfully learn to represent reality? To investigate this question, we build a dataset containing five types of visual illusions and formulate four tasks to examine visual illusions in state-of-the-art VLMs. Our findings have shown that although the overall alignment is low, larger models are closer to human perception and more susceptible to visual illusions. Our dataset and initial findings will promote a better understanding of visual illusions in humans and machines and provide a stepping stone for future computational models that can better align humans and machines in perceiving and communicating about the shared visual world. The code and data are available at https://github.com/vl-illusion/dataset.