Les modèles de vision et de langage partagent-ils des concepts ? Une étude d'alignement dans l'espace vectoriel

Do Vision and Language Models Share Concepts? A Vector Space Alignment Study

February 13, 2023

Auteurs: Jiaang Li, Yova Kementchedjhieva, Constanza Fierro, Anders Søgaard

cs.AI

Résumé

Les grands modèles de langage pré-entraînés (LM) sont souvent décrits comme « incapables de relier les énoncés au monde réel » (Bender et Koller, 2020), car ils ne possèdent pas de « modèles mentaux du monde » (Mitchell et Krakauer, 2023). Si cela est vrai, on s'attendrait à ce que les représentations des LM soient sans lien avec celles induites par les modèles de vision. Nous présentons une évaluation empirique portant sur quatre familles de LM (BERT, GPT-2, OPT et LLaMA-2) et trois architectures de modèles de vision (ResNet, SegFormer et MAE). Nos expériences montrent que les LM convergent partiellement vers des représentations isomorphes à celles des modèles de vision, sous réserve de dispersion, de polysémie et de fréquence. Cela a des implications importantes à la fois pour le traitement multimodal et pour le débat sur la compréhension des LM (Mitchell et Krakauer, 2023).

English

Large-scale pretrained language models (LMs) are said to ``lack the ability to connect utterances to the world'' (Bender and Koller, 2020), because they do not have ``mental models of the world' '(Mitchell and Krakauer, 2023). If so, one would expect LM representations to be unrelated to representations induced by vision models. We present an empirical evaluation across four families of LMs (BERT, GPT-2, OPT and LLaMA-2) and three vision model architectures (ResNet, SegFormer, and MAE). Our experiments show that LMs partially converge towards representations isomorphic to those of vision models, subject to dispersion, polysemy and frequency. This has important implications for both multi-modal processing and the LM understanding debate (Mitchell and Krakauer, 2023).