Uso Básico de Categorias em Modelos de Linguagem Visual

Basic Category Usage in Vision Language Models

March 16, 2025

Autores: Hunter Sawyer, Jesse Roberts, Kyle Moore

cs.AI

Resumo

O campo da psicologia há muito reconhece um nível básico de categorização que os seres humanos utilizam ao rotular estímulos visuais, um termo cunhado por Rosch em 1976. Esse nível de categorização foi identificado como o mais frequentemente utilizado, com maior densidade de informação, e que auxilia em tarefas de linguagem visual com priming em humanos. Aqui, investigamos a categorização em nível básico em dois modelos de visão e linguagem (VLMs) de código aberto recentemente lançados. Este artigo demonstra que o Llama 3.2 Vision Instruct (11B) e o Molmo 7B-D preferem a categorização em nível básico de forma consistente com o comportamento humano. Além disso, as preferências dos modelos são consistentes com comportamentos humanos sutis, como os efeitos de nível básico biológico versus não biológico e a bem estabelecida mudança de nível básico em especialistas, sugerindo ainda que os VLMs adquirem comportamentos de categorização cognitiva a partir dos dados humanos nos quais são treinados.

English

The field of psychology has long recognized a basic level of categorization that humans use when labeling visual stimuli, a term coined by Rosch in 1976. This level of categorization has been found to be used most frequently, to have higher information density, and to aid in visual language tasks with priming in humans. Here, we investigate basic level categorization in two recently released, open-source vision-language models (VLMs). This paper demonstrates that Llama 3.2 Vision Instruct (11B) and Molmo 7B-D both prefer basic level categorization consistent with human behavior. Moreover, the models' preferences are consistent with nuanced human behaviors like the biological versus non-biological basic level effects and the well established expert basic level shift, further suggesting that VLMs acquire cognitive categorization behaviors from the human data on which they are trained.