Делят ли модели зрения и языка концепции? Исследование выравнивания векторных пространств

Do Vision and Language Models Share Concepts? A Vector Space Alignment Study

February 13, 2023

Авторы: Jiaang Li, Yova Kementchedjhieva, Constanza Fierro, Anders Søgaard

cs.AI

Аннотация

Большие предварительно обученные языковые модели (LM) говорят, что "не способны связать высказывания с миром" (Бендер и Коллер, 2020), потому что у них нет "ментальных моделей мира" (Митчелл и Кракауэр, 2023). Если это так, то ожидается, что представления LM не будут связаны с представлениями, индуцированными моделями зрения. Мы представляем эмпирическую оценку по четырем семействам LM (BERT, GPT-2, OPT и LLaMA-2) и трем архитектурам моделей зрения (ResNet, SegFormer и MAE). Наши эксперименты показывают, что LM частично сходятся к представлениям, изоморфным представлениям моделей зрения, при условии дисперсии, полисемии и частоты. Это имеет важные последствия как для мультимодальной обработки, так и для дебатов о понимании LM (Митчелл и Кракауэр, 2023).

English

Large-scale pretrained language models (LMs) are said to ``lack the ability to connect utterances to the world'' (Bender and Koller, 2020), because they do not have ``mental models of the world' '(Mitchell and Krakauer, 2023). If so, one would expect LM representations to be unrelated to representations induced by vision models. We present an empirical evaluation across four families of LMs (BERT, GPT-2, OPT and LLaMA-2) and three vision model architectures (ResNet, SegFormer, and MAE). Our experiments show that LMs partially converge towards representations isomorphic to those of vision models, subject to dispersion, polysemy and frequency. This has important implications for both multi-modal processing and the LM understanding debate (Mitchell and Krakauer, 2023).