¿Comparten conceptos los modelos de Visión y Lenguaje? Un estudio de alineación en espacio vectorial

Do Vision and Language Models Share Concepts? A Vector Space Alignment Study

February 13, 2023

Autores: Jiaang Li, Yova Kementchedjhieva, Constanza Fierro, Anders Søgaard

cs.AI

Resumen

Se dice que los modelos de lenguaje preentrenados a gran escala carecen de la capacidad de "conectar enunciados con el mundo" (Bender y Koller, 2020), ya que no tienen "modelos mentales del mundo" (Mitchell y Krakauer, 2023). Si es así, se esperaría que las representaciones de los modelos de lenguaje no estén relacionadas con las representaciones inducidas por los modelos de visión. Presentamos una evaluación empírica en cuatro familias de modelos de lenguaje (BERT, GPT-2, OPT y LLaMA-2) y tres arquitecturas de modelos de visión (ResNet, SegFormer y MAE). Nuestros experimentos muestran que los modelos de lenguaje convergen parcialmente hacia representaciones isomórficas a las de los modelos de visión, sujetas a dispersión, polisemia y frecuencia. Esto tiene implicaciones importantes tanto para el procesamiento multimodal como para el debate sobre la comprensión de los modelos de lenguaje (Mitchell y Krakauer, 2023).

English

Large-scale pretrained language models (LMs) are said to ``lack the ability to connect utterances to the world'' (Bender and Koller, 2020), because they do not have ``mental models of the world' '(Mitchell and Krakauer, 2023). If so, one would expect LM representations to be unrelated to representations induced by vision models. We present an empirical evaluation across four families of LMs (BERT, GPT-2, OPT and LLaMA-2) and three vision model architectures (ResNet, SegFormer, and MAE). Our experiments show that LMs partially converge towards representations isomorphic to those of vision models, subject to dispersion, polysemy and frequency. This has important implications for both multi-modal processing and the LM understanding debate (Mitchell and Krakauer, 2023).