Fundamentando las ilusiones visuales en el lenguaje: ¿Perciben los modelos visión-lenguaje las ilusiones como los humanos?

Grounding Visual Illusions in Language: Do Vision-Language Models Perceive Illusions Like Humans?

October 31, 2023

Autores: Yichi Zhang, Jiayi Pan, Yuchen Zhou, Rui Pan, Joyce Chai

cs.AI

Resumen

Los Modelos de Visión-Lenguaje (VLMs, por sus siglas en inglés) se entrenan con grandes cantidades de datos capturados por humanos, emulando nuestra comprensión del mundo. Sin embargo, conocidas como ilusiones visuales, la percepción humana de la realidad no siempre es fiel al mundo físico. Esto plantea una pregunta clave: ¿los VLMs experimentan ilusiones similares a las de los humanos, o aprenden a representar la realidad de manera fiel? Para investigar esta cuestión, construimos un conjunto de datos que contiene cinco tipos de ilusiones visuales y formulamos cuatro tareas para examinar estas ilusiones en los VLMs más avanzados. Nuestros hallazgos han demostrado que, aunque la alineación general es baja, los modelos más grandes se acercan más a la percepción humana y son más susceptibles a las ilusiones visuales. Nuestro conjunto de datos y los resultados iniciales promoverán una mejor comprensión de las ilusiones visuales en humanos y máquinas, y servirán como punto de partida para futuros modelos computacionales que puedan alinear mejor a humanos y máquinas en la percepción y comunicación sobre el mundo visual compartido. El código y los datos están disponibles en https://github.com/vl-illusion/dataset.

English

Vision-Language Models (VLMs) are trained on vast amounts of data captured by humans emulating our understanding of the world. However, known as visual illusions, human's perception of reality isn't always faithful to the physical world. This raises a key question: do VLMs have the similar kind of illusions as humans do, or do they faithfully learn to represent reality? To investigate this question, we build a dataset containing five types of visual illusions and formulate four tasks to examine visual illusions in state-of-the-art VLMs. Our findings have shown that although the overall alignment is low, larger models are closer to human perception and more susceptible to visual illusions. Our dataset and initial findings will promote a better understanding of visual illusions in humans and machines and provide a stepping stone for future computational models that can better align humans and machines in perceiving and communicating about the shared visual world. The code and data are available at https://github.com/vl-illusion/dataset.