Verankerung visueller Illusionen in der Sprache: Wahrnehmen Vision-Sprache-Modelle Illusionen wie Menschen?

Grounding Visual Illusions in Language: Do Vision-Language Models Perceive Illusions Like Humans?

October 31, 2023

Autoren: Yichi Zhang, Jiayi Pan, Yuchen Zhou, Rui Pan, Joyce Chai

cs.AI

Zusammenfassung

Vision-Language-Modelle (VLMs) werden mit großen Mengen an Daten trainiert, die von Menschen erfasst wurden und unser Verständnis der Welt nachahmen. Bekannt als visuelle Illusionen ist die menschliche Wahrnehmung der Realität jedoch nicht immer treu zur physischen Welt. Dies wirft eine zentrale Frage auf: Haben VLMs ähnliche Illusionen wie Menschen, oder lernen sie, die Realität getreu darzustellen? Um diese Frage zu untersuchen, haben wir einen Datensatz erstellt, der fünf Arten von visuellen Illusionen enthält, und vier Aufgaben formuliert, um visuelle Illusionen in state-of-the-art VLMs zu untersuchen. Unsere Ergebnisse zeigen, dass zwar die Gesamtübereinstimmung gering ist, größere Modelle jedoch näher an der menschlichen Wahrnehmung liegen und anfälliger für visuelle Illusionen sind. Unser Datensatz und die ersten Erkenntnisse werden ein besseres Verständnis von visuellen Illusionen bei Menschen und Maschinen fördern und einen Grundstein für zukünftige Computermodelle legen, die eine bessere Abstimmung zwischen Menschen und Maschinen in der Wahrnehmung und Kommunikation über die gemeinsame visuelle Welt ermöglichen. Der Code und die Daten sind unter https://github.com/vl-illusion/dataset verfügbar.

English

Vision-Language Models (VLMs) are trained on vast amounts of data captured by humans emulating our understanding of the world. However, known as visual illusions, human's perception of reality isn't always faithful to the physical world. This raises a key question: do VLMs have the similar kind of illusions as humans do, or do they faithfully learn to represent reality? To investigate this question, we build a dataset containing five types of visual illusions and formulate four tasks to examine visual illusions in state-of-the-art VLMs. Our findings have shown that although the overall alignment is low, larger models are closer to human perception and more susceptible to visual illusions. Our dataset and initial findings will promote a better understanding of visual illusions in humans and machines and provide a stepping stone for future computational models that can better align humans and machines in perceiving and communicating about the shared visual world. The code and data are available at https://github.com/vl-illusion/dataset.