Basis Categoriegebruik in Visuele Taalmodellen

Basic Category Usage in Vision Language Models

March 16, 2025

Auteurs: Hunter Sawyer, Jesse Roberts, Kyle Moore

cs.AI

Samenvatting

Het vakgebied van de psychologie heeft al lang een basisniveau van categorisatie erkend dat mensen gebruiken bij het labelen van visuele stimuli, een term die in 1976 door Rosch werd geïntroduceerd. Dit categorisatieniveau blijkt het meest frequent te worden gebruikt, een hogere informatiedichtheid te hebben en visuele taaltaken bij mensen te ondersteunen door middel van priming. Hier onderzoeken we het basisniveau van categorisatie in twee recent vrijgegeven, open-source vision-language modellen (VLMs). Dit artikel toont aan dat Llama 3.2 Vision Instruct (11B) en Molmo 7B-D beide een voorkeur hebben voor basisniveau categorisatie die consistent is met menselijk gedrag. Bovendien zijn de voorkeuren van de modellen consistent met genuanceerd menselijk gedrag, zoals het biologische versus niet-biologische basisniveau effect en de goed gedocumenteerde expert basisniveau verschuiving, wat verder suggereert dat VLMs cognitieve categorisatiegedragingen verwerven uit de menselijke data waarop ze zijn getraind.

English

The field of psychology has long recognized a basic level of categorization that humans use when labeling visual stimuli, a term coined by Rosch in 1976. This level of categorization has been found to be used most frequently, to have higher information density, and to aid in visual language tasks with priming in humans. Here, we investigate basic level categorization in two recently released, open-source vision-language models (VLMs). This paper demonstrates that Llama 3.2 Vision Instruct (11B) and Molmo 7B-D both prefer basic level categorization consistent with human behavior. Moreover, the models' preferences are consistent with nuanced human behaviors like the biological versus non-biological basic level effects and the well established expert basic level shift, further suggesting that VLMs acquire cognitive categorization behaviors from the human data on which they are trained.