Uso de Categorías Básicas en Modelos de Lenguaje Visual

Basic Category Usage in Vision Language Models

March 16, 2025

Autores: Hunter Sawyer, Jesse Roberts, Kyle Moore

cs.AI

Resumen

El campo de la psicología ha reconocido durante mucho tiempo un nivel básico de categorización que los seres humanos utilizan al etiquetar estímulos visuales, un término acuñado por Rosch en 1976. Se ha descubierto que este nivel de categorización es el más utilizado con frecuencia, tiene una mayor densidad de información y ayuda en tareas de lenguaje visual con priming en humanos. Aquí, investigamos la categorización a nivel básico en dos modelos de visión y lenguaje (VLMs, por sus siglas en inglés) de código abierto recientemente lanzados. Este artículo demuestra que Llama 3.2 Vision Instruct (11B) y Molmo 7B-D prefieren la categorización a nivel básico, lo cual es consistente con el comportamiento humano. Además, las preferencias de los modelos son consistentes con comportamientos humanos matizados, como los efectos de nivel básico biológico versus no biológico y el bien establecido cambio de nivel básico experto, lo que sugiere aún más que los VLMs adquieren comportamientos de categorización cognitiva a partir de los datos humanos con los que son entrenados.

English

The field of psychology has long recognized a basic level of categorization that humans use when labeling visual stimuli, a term coined by Rosch in 1976. This level of categorization has been found to be used most frequently, to have higher information density, and to aid in visual language tasks with priming in humans. Here, we investigate basic level categorization in two recently released, open-source vision-language models (VLMs). This paper demonstrates that Llama 3.2 Vision Instruct (11B) and Molmo 7B-D both prefer basic level categorization consistent with human behavior. Moreover, the models' preferences are consistent with nuanced human behaviors like the biological versus non-biological basic level effects and the well established expert basic level shift, further suggesting that VLMs acquire cognitive categorization behaviors from the human data on which they are trained.