Os Modelos de Visão e Linguagem Compartilham Conceitos? Um Estudo de Alinhamento de Espaço de Vetores

Do Vision and Language Models Share Concepts? A Vector Space Alignment Study

February 13, 2023

Autores: Jiaang Li, Yova Kementchedjhieva, Constanza Fierro, Anders Søgaard

cs.AI

Resumo

Modelos de linguagem pré-treinados em larga escala são ditos "faltar a capacidade de conectar enunciados ao mundo" (Bender e Koller, 2020), pois não possuem "modelos mentais do mundo" (Mitchell e Krakauer, 2023). Se assim for, esperar-se-ia que as representações dos modelos de linguagem não estivessem relacionadas às representações induzidas por modelos de visão. Apresentamos uma avaliação empírica em quatro famílias de modelos de linguagem (BERT, GPT-2, OPT e LLaMA-2) e três arquiteturas de modelos de visão (ResNet, SegFormer e MAE). Nossos experimentos mostram que os modelos de linguagem convergem parcialmente para representações isomórficas às dos modelos de visão, sujeitas a dispersão, polissemia e frequência. Isso tem implicações importantes tanto para o processamento multi-modal quanto para o debate sobre a compreensão dos modelos de linguagem (Mitchell e Krakauer, 2023).

English

Large-scale pretrained language models (LMs) are said to ``lack the ability to connect utterances to the world'' (Bender and Koller, 2020), because they do not have ``mental models of the world' '(Mitchell and Krakauer, 2023). If so, one would expect LM representations to be unrelated to representations induced by vision models. We present an empirical evaluation across four families of LMs (BERT, GPT-2, OPT and LLaMA-2) and three vision model architectures (ResNet, SegFormer, and MAE). Our experiments show that LMs partially converge towards representations isomorphic to those of vision models, subject to dispersion, polysemy and frequency. This has important implications for both multi-modal processing and the LM understanding debate (Mitchell and Krakauer, 2023).