Delen Vision- en Taalmodellen Concepten? Een Onderzoek naar Vectorruimte-uitlijning

Do Vision and Language Models Share Concepts? A Vector Space Alignment Study

February 13, 2023

Auteurs: Jiaang Li, Yova Kementchedjhieva, Constanza Fierro, Anders Søgaard

cs.AI

Samenvatting

Grootschalige vooraf getrainde taalmodelen (LM's) zouden "het vermogen missen om uitingen te verbinden met de wereld" (Bender en Koller, 2020), omdat ze geen "mentale modellen van de wereld" hebben (Mitchell en Krakauer, 2023). Als dat zo is, zou men verwachten dat de representaties van LM's geen verband houden met representaties die worden geïnduceerd door visuele modellen. Wij presenteren een empirische evaluatie over vier families van LM's (BERT, GPT-2, OPT en LLaMA-2) en drie architecturen van visuele modellen (ResNet, SegFormer en MAE). Onze experimenten tonen aan dat LM's gedeeltelijk convergeren naar representaties die isomorf zijn aan die van visuele modellen, afhankelijk van spreiding, polysemie en frequentie. Dit heeft belangrijke implicaties voor zowel multimodale verwerking als het debat over het begrip van LM's (Mitchell en Krakauer, 2023).

English

Large-scale pretrained language models (LMs) are said to ``lack the ability to connect utterances to the world'' (Bender and Koller, 2020), because they do not have ``mental models of the world' '(Mitchell and Krakauer, 2023). If so, one would expect LM representations to be unrelated to representations induced by vision models. We present an empirical evaluation across four families of LMs (BERT, GPT-2, OPT and LLaMA-2) and three vision model architectures (ResNet, SegFormer, and MAE). Our experiments show that LMs partially converge towards representations isomorphic to those of vision models, subject to dispersion, polysemy and frequency. This has important implications for both multi-modal processing and the LM understanding debate (Mitchell and Krakauer, 2023).