Voir des visages dans les choses : un modèle et un ensemble de données pour la paréidolie

Seeing Faces in Things: A Model and Dataset for Pareidolia

September 24, 2024

Auteurs: Mark Hamilton, Simon Stent, Vasha DuTell, Anne Harrington, Jennifer Corbett, Ruth Rosenholtz, William T. Freeman

cs.AI

Résumé

Le système visuel humain est bien adapté pour détecter des visages de toutes formes et tailles. Bien que cela confère des avantages évidents en termes de survie, tels qu'une meilleure chance de repérer des prédateurs inconnus dans la brousse, cela conduit également à des détections de visages erronées. La "pareidolie faciale" décrit la perception de structures ressemblant à des visages parmi des stimuli autrement aléatoires : voir des visages dans des taches de café ou des nuages dans le ciel. Dans cet article, nous étudions la pareidolie faciale d'un point de vue de la vision par ordinateur. Nous présentons un ensemble de données d'images de "Visages dans les Choses", composé de cinq mille images web avec des visages pareidoliques annotés par des humains. En utilisant cet ensemble de données, nous examinons dans quelle mesure un détecteur de visages humains de pointe manifeste de la pareidolie, et constatons un écart comportemental significatif entre les humains et les machines. Nous constatons que le besoin évolutif pour les humains de détecter les visages d'animaux, ainsi que les visages humains, pourrait expliquer une partie de cet écart. Enfin, nous proposons un modèle statistique simple de la pareidolie dans les images. À travers des études sur des sujets humains et nos détecteurs de visages pareidoliques, nous confirmons une prédiction clé de notre modèle concernant les conditions d'image les plus susceptibles d'induire la pareidolie. Ensemble de données et site Web : https://aka.ms/faces-in-things

English

The human visual system is well-tuned to detect faces of all shapes and sizes. While this brings obvious survival advantages, such as a better chance of spotting unknown predators in the bush, it also leads to spurious face detections. ``Face pareidolia'' describes the perception of face-like structure among otherwise random stimuli: seeing faces in coffee stains or clouds in the sky. In this paper, we study face pareidolia from a computer vision perspective. We present an image dataset of ``Faces in Things'', consisting of five thousand web images with human-annotated pareidolic faces. Using this dataset, we examine the extent to which a state-of-the-art human face detector exhibits pareidolia, and find a significant behavioral gap between humans and machines. We find that the evolutionary need for humans to detect animal faces, as well as human faces, may explain some of this gap. Finally, we propose a simple statistical model of pareidolia in images. Through studies on human subjects and our pareidolic face detectors we confirm a key prediction of our model regarding what image conditions are most likely to induce pareidolia. Dataset and Website: https://aka.ms/faces-in-things