Radicare le illusioni visive nel linguaggio: i modelli visione-linguaggio percepiscono le illusioni come gli esseri umani?

Grounding Visual Illusions in Language: Do Vision-Language Models Perceive Illusions Like Humans?

October 31, 2023

Autori: Yichi Zhang, Jiayi Pan, Yuchen Zhou, Rui Pan, Joyce Chai

cs.AI

Abstract

I modelli visione-linguaggio (VLMs) vengono addestrati su grandi quantità di dati raccolti dagli esseri umani, imitando la nostra comprensione del mondo. Tuttavia, come noto con il termine "illusioni visive", la percezione umana della realtà non è sempre fedele al mondo fisico. Ciò solleva una domanda cruciale: i VLMs sperimentano lo stesso tipo di illusioni degli esseri umani, oppure apprendono in modo fedele a rappresentare la realtà? Per indagare questa questione, abbiamo costruito un dataset contenente cinque tipi di illusioni visive e formulato quattro task per esaminare le illusioni visive nei VLMs più avanzati. I nostri risultati hanno dimostrato che, sebbene l'allineamento complessivo sia basso, i modelli più grandi si avvicinano di più alla percezione umana e sono più suscettibili alle illusioni visive. Il nostro dataset e le scoperte iniziali promuoveranno una migliore comprensione delle illusioni visive negli esseri umani e nelle macchine, fornendo una base per futuri modelli computazionali che possano allineare meglio umani e macchine nel percepire e comunicare riguardo al mondo visivo condiviso. Il codice e i dati sono disponibili all'indirizzo https://github.com/vl-illusion/dataset.

English

Vision-Language Models (VLMs) are trained on vast amounts of data captured by humans emulating our understanding of the world. However, known as visual illusions, human's perception of reality isn't always faithful to the physical world. This raises a key question: do VLMs have the similar kind of illusions as humans do, or do they faithfully learn to represent reality? To investigate this question, we build a dataset containing five types of visual illusions and formulate four tasks to examine visual illusions in state-of-the-art VLMs. Our findings have shown that although the overall alignment is low, larger models are closer to human perception and more susceptible to visual illusions. Our dataset and initial findings will promote a better understanding of visual illusions in humans and machines and provide a stepping stone for future computational models that can better align humans and machines in perceiving and communicating about the shared visual world. The code and data are available at https://github.com/vl-illusion/dataset.