Como os modelos de embedding podem vincular conceitos?

Resumo

Humanos determinam facilmente qual cor pertence a qual forma em cenas com múltiplos objetos, uma habilidade conhecida como vinculação de conceitos. Modelos de embeddings visão-linguagem, como o CLIP, têm dificuldade com vinculação: eles reconhecem conceitos individuais, mas não conseguem representar quais conceitos formam quais objetos. Embora o CLIP se comporte como um modelo de saco de conceitos na recuperação cross-modal, a informação sobre objetos pode ser recuperada separadamente de seus embeddings de imagem e texto. Estudamos essa tensão por meio da função de vinculação, que mapeia conceitos para embeddings de cena. Descobrimos que os embeddings de cena se decompõem aditivamente em representações de objetos, explicando por que sondas unimodais podem recuperar informações sobre objetos. No entanto, a função de vinculação do CLIP é de alta complexidade, o que provavelmente impede que os codificadores de imagem e texto aprendam um mecanismo de vinculação compartilhado que generalize para combinações de conceitos não vistas anteriormente. Em seguida, perguntamos se essa limitação é fundamental. Mostramos que não é. Em modelos de transformer controlados treinados do zero, a generalização da vinculação emerge com cobertura de dados suficiente. Esses modelos aprendem funções de vinculação de baixa complexidade caracterizadas por interações multiplicativas entre conceitos, permitindo generalização sistemática. O código está disponível publicamente em https://github.com/oshapio/binding-concepts-complexity.

English

Humans easily determine which color belongs to which shape in multi-object scenes, an ability known as concept binding. Vision-language embedding models such as CLIP struggle with binding: they recognize individual concepts but fail to represent which concepts form which objects. Although CLIP behaves like a bag-of-concepts model in cross-modal retrieval, object information is recoverable from its image and text embeddings separately. We study this tension through the binding function, which maps concepts to scene embeddings. We find that scene embeddings decompose additively into object representations, explaining why uni-modal probes can recover object information. However, CLIP's binding function is high-complexity, which likely prevents the image and text encoders from learning a shared binding mechanism that generalizes to unseen concept combinations. We then ask whether this limitation is fundamental. We show that it is not. In controlled transformer models trained from scratch, binding generalization emerges with sufficient data coverage. These models learn low-complexity binding functions characterized by multiplicative interactions between concepts, enabling systematic generalization. Code is publicly available at https://github.com/oshapio/binding-concepts-complexity.