視覚と言語モデルは概念を共有しているか？ベクトル空間アライメント研究
Do Vision and Language Models Share Concepts? A Vector Space Alignment Study
February 13, 2023
著者: Jiaang Li, Yova Kementchedjhieva, Constanza Fierro, Anders Søgaard
cs.AI
要旨
大規模な事前学習済み言語モデル（LM）は、「発話を世界と結びつける能力を欠いている」と言われています（Bender and Koller, 2020）。これは、LMが「世界に対するメンタルモデルを持たない」ためです（Mitchell and Krakauer, 2023）。もしそうであれば、LMの表現は視覚モデルによって誘導される表現とは無関係であると予想されます。本論文では、4つのLMファミリー（BERT、GPT-2、OPT、LLaMA-2）と3つの視覚モデルアーキテクチャ（ResNet、SegFormer、MAE）にわたる実証的評価を提示します。実験結果から、LMの表現は、分散、多義性、頻度に応じて、視覚モデルの表現と同型の表現に部分的に収束することが示されました。この発見は、マルチモーダル処理とLMの理解に関する議論（Mitchell and Krakauer, 2023）の両方にとって重要な意味を持ちます。
English
Large-scale pretrained language models (LMs) are said to ``lack the ability
to connect utterances to the world'' (Bender and Koller, 2020), because they do
not have ``mental models of the world' '(Mitchell and Krakauer, 2023). If so,
one would expect LM representations to be unrelated to representations induced
by vision models. We present an empirical evaluation across four families of
LMs (BERT, GPT-2, OPT and LLaMA-2) and three vision model architectures
(ResNet, SegFormer, and MAE). Our experiments show that LMs partially converge
towards representations isomorphic to those of vision models, subject to
dispersion, polysemy and frequency. This has important implications for both
multi-modal processing and the LM understanding debate (Mitchell and Krakauer,
2023).