Utilisation des catégories de base dans les modèles de vision et de langage

Basic Category Usage in Vision Language Models

March 16, 2025

Auteurs: Hunter Sawyer, Jesse Roberts, Kyle Moore

cs.AI

Résumé

Le domaine de la psychologie a longtemps reconnu un niveau de catégorisation de base que les humains utilisent pour étiqueter des stimuli visuels, un terme introduit par Rosch en 1976. Ce niveau de catégorisation s'est avéré être le plus fréquemment utilisé, posséder une densité d'information plus élevée et faciliter les tâches de langage visuel avec amorçage chez les humains. Ici, nous étudions la catégorisation de base dans deux modèles vision-langage (VLMs) récemment publiés et open-source. Cet article démontre que Llama 3.2 Vision Instruct (11B) et Molmo 7B-D privilégient tous deux la catégorisation de base, en accord avec le comportement humain. De plus, les préférences des modèles sont cohérentes avec des comportements humains nuancés, tels que les effets de catégorisation de base biologique versus non biologique et le décalage bien établi vers la catégorisation de base experte, suggérant davantage que les VLMs acquièrent des comportements de catégorisation cognitive à partir des données humaines sur lesquelles ils sont entraînés.

English

The field of psychology has long recognized a basic level of categorization that humans use when labeling visual stimuli, a term coined by Rosch in 1976. This level of categorization has been found to be used most frequently, to have higher information density, and to aid in visual language tasks with priming in humans. Here, we investigate basic level categorization in two recently released, open-source vision-language models (VLMs). This paper demonstrates that Llama 3.2 Vision Instruct (11B) and Molmo 7B-D both prefer basic level categorization consistent with human behavior. Moreover, the models' preferences are consistent with nuanced human behaviors like the biological versus non-biological basic level effects and the well established expert basic level shift, further suggesting that VLMs acquire cognitive categorization behaviors from the human data on which they are trained.