Viendo rostros en cosas: un modelo y conjunto de datos para la pareidolia.

Seeing Faces in Things: A Model and Dataset for Pareidolia

September 24, 2024

Autores: Mark Hamilton, Simon Stent, Vasha DuTell, Anne Harrington, Jennifer Corbett, Ruth Rosenholtz, William T. Freeman

cs.AI

Resumen

El sistema visual humano está bien ajustado para detectar rostros de todas las formas y tamaños. Si bien esto proporciona ventajas evidentes para la supervivencia, como una mejor oportunidad de detectar depredadores desconocidos en la maleza, también conduce a detecciones de rostros espurias. La "pareidolia facial" describe la percepción de una estructura similar a un rostro entre estímulos aparentemente aleatorios: ver rostros en manchas de café o nubes en el cielo. En este documento, estudiamos la pareidolia facial desde una perspectiva de visión por computadora. Presentamos un conjunto de datos de imágenes de "Rostros en Cosas", que consta de cinco mil imágenes web con rostros pareidólicos anotados por humanos. Utilizando este conjunto de datos, examinamos en qué medida un detector de rostros humano de última generación exhibe pareidolia, y encontramos una brecha significativa en el comportamiento entre humanos y máquinas. Descubrimos que la necesidad evolutiva de los humanos de detectar rostros de animales, así como rostros humanos, puede explicar parte de esta brecha. Finalmente, proponemos un modelo estadístico simple de pareidolia en imágenes. A través de estudios en sujetos humanos y nuestros detectores de rostros pareidólicos, confirmamos una predicción clave de nuestro modelo sobre qué condiciones de imagen son más propensas a inducir pareidolia. Conjunto de datos y sitio web: https://aka.ms/faces-in-things

English

The human visual system is well-tuned to detect faces of all shapes and sizes. While this brings obvious survival advantages, such as a better chance of spotting unknown predators in the bush, it also leads to spurious face detections. ``Face pareidolia'' describes the perception of face-like structure among otherwise random stimuli: seeing faces in coffee stains or clouds in the sky. In this paper, we study face pareidolia from a computer vision perspective. We present an image dataset of ``Faces in Things'', consisting of five thousand web images with human-annotated pareidolic faces. Using this dataset, we examine the extent to which a state-of-the-art human face detector exhibits pareidolia, and find a significant behavioral gap between humans and machines. We find that the evolutionary need for humans to detect animal faces, as well as human faces, may explain some of this gap. Finally, we propose a simple statistical model of pareidolia in images. Through studies on human subjects and our pareidolic face detectors we confirm a key prediction of our model regarding what image conditions are most likely to induce pareidolia. Dataset and Website: https://aka.ms/faces-in-things