Utilizzo delle Categorie di Base nei Modelli Linguistico-Visivi

Basic Category Usage in Vision Language Models

March 16, 2025

Autori: Hunter Sawyer, Jesse Roberts, Kyle Moore

cs.AI

Abstract

Il campo della psicologia ha da tempo riconosciuto un livello di categorizzazione di base che gli esseri umani utilizzano quando etichettano stimoli visivi, un termine coniato da Rosch nel 1976. Questo livello di categorizzazione è stato riscontrato come il più frequentemente utilizzato, con una maggiore densità di informazioni, e come utile nei compiti di linguaggio visivo con priming negli esseri umani. In questo studio, indaghiamo la categorizzazione di base in due modelli visione-linguaggio (VLMs) open-source rilasciati di recente. Questo articolo dimostra che Llama 3.2 Vision Instruct (11B) e Molmo 7B-D preferiscono entrambi la categorizzazione di base in modo coerente con il comportamento umano. Inoltre, le preferenze dei modelli sono in linea con comportamenti umani più sfumati, come gli effetti di categorizzazione di base biologica versus non biologica e il consolidato spostamento di livello di base degli esperti, suggerendo ulteriormente che i VLMs acquisiscono comportamenti di categorizzazione cognitiva dai dati umani su cui sono addestrati.

English

The field of psychology has long recognized a basic level of categorization that humans use when labeling visual stimuli, a term coined by Rosch in 1976. This level of categorization has been found to be used most frequently, to have higher information density, and to aid in visual language tasks with priming in humans. Here, we investigate basic level categorization in two recently released, open-source vision-language models (VLMs). This paper demonstrates that Llama 3.2 Vision Instruct (11B) and Molmo 7B-D both prefer basic level categorization consistent with human behavior. Moreover, the models' preferences are consistent with nuanced human behaviors like the biological versus non-biological basic level effects and the well established expert basic level shift, further suggesting that VLMs acquire cognitive categorization behaviors from the human data on which they are trained.