I modelli di visione e linguaggio condividono concetti? Uno studio sull'allineamento degli spazi vettoriali

Do Vision and Language Models Share Concepts? A Vector Space Alignment Study

February 13, 2023

Autori: Jiaang Li, Yova Kementchedjhieva, Constanza Fierro, Anders Søgaard

cs.AI

Abstract

Si dice che i modelli linguistici preaddestrati su larga scala (LM) "mancano della capacità di collegare gli enunciati al mondo" (Bender e Koller, 2020), poiché non possiedono "modelli mentali del mondo" (Mitchell e Krakauer, 2023). Se così fosse, ci si aspetterebbe che le rappresentazioni dei LM non siano correlate alle rappresentazioni indotte dai modelli visivi. Presentiamo una valutazione empirica su quattro famiglie di LM (BERT, GPT-2, OPT e LLaMA-2) e tre architetture di modelli visivi (ResNet, SegFormer e MAE). I nostri esperimenti dimostrano che i LM convergono parzialmente verso rappresentazioni isomorfe a quelle dei modelli visivi, soggette a dispersione, polisemia e frequenza. Ciò ha importanti implicazioni sia per l'elaborazione multimodale che per il dibattito sulla comprensione dei LM (Mitchell e Krakauer, 2023).

English

Large-scale pretrained language models (LMs) are said to ``lack the ability to connect utterances to the world'' (Bender and Koller, 2020), because they do not have ``mental models of the world' '(Mitchell and Krakauer, 2023). If so, one would expect LM representations to be unrelated to representations induced by vision models. We present an empirical evaluation across four families of LMs (BERT, GPT-2, OPT and LLaMA-2) and three vision model architectures (ResNet, SegFormer, and MAE). Our experiments show that LMs partially converge towards representations isomorphic to those of vision models, subject to dispersion, polysemy and frequency. This has important implications for both multi-modal processing and the LM understanding debate (Mitchell and Krakauer, 2023).