Utilizzo delle Categorie di Base nei Modelli Linguistico-Visivi
Basic Category Usage in Vision Language Models
March 16, 2025
Autori: Hunter Sawyer, Jesse Roberts, Kyle Moore
cs.AI
Abstract
Il campo della psicologia ha da tempo riconosciuto un livello di categorizzazione di base che gli esseri umani utilizzano quando etichettano stimoli visivi, un termine coniato da Rosch nel 1976. Questo livello di categorizzazione è stato riscontrato come il più frequentemente utilizzato, con una maggiore densità di informazioni, e come utile nei compiti di linguaggio visivo con priming negli esseri umani. In questo studio, indaghiamo la categorizzazione di base in due modelli visione-linguaggio (VLMs) open-source rilasciati di recente. Questo articolo dimostra che Llama 3.2 Vision Instruct (11B) e Molmo 7B-D preferiscono entrambi la categorizzazione di base in modo coerente con il comportamento umano. Inoltre, le preferenze dei modelli sono in linea con comportamenti umani più sfumati, come gli effetti di categorizzazione di base biologica versus non biologica e il consolidato spostamento di livello di base degli esperti, suggerendo ulteriormente che i VLMs acquisiscono comportamenti di categorizzazione cognitiva dai dati umani su cui sono addestrati.
English
The field of psychology has long recognized a basic level of categorization
that humans use when labeling visual stimuli, a term coined by Rosch in 1976.
This level of categorization has been found to be used most frequently, to have
higher information density, and to aid in visual language tasks with priming in
humans. Here, we investigate basic level categorization in two recently
released, open-source vision-language models (VLMs). This paper demonstrates
that Llama 3.2 Vision Instruct (11B) and Molmo 7B-D both prefer basic level
categorization consistent with human behavior. Moreover, the models'
preferences are consistent with nuanced human behaviors like the biological
versus non-biological basic level effects and the well established expert basic
level shift, further suggesting that VLMs acquire cognitive categorization
behaviors from the human data on which they are trained.