Hoe kunnen inbeddingsmodellen concepten binden?

Samenvatting

Mensen kunnen gemakkelijk bepalen welke kleur bij welke vorm hoort in scènes met meerdere objecten, een vermogen dat bekend staat als conceptbinding. Visie-taal inbeddingsmodellen zoals CLIP hebben moeite met binding: ze herkennen individuele concepten, maar slagen er niet in weer te geven welke concepten welke objecten vormen. Hoewel CLIP zich gedraagt als een bag-of-concepts model bij crossmodale retrievals, is objectinformatie afzonderlijk terug te vinden uit de afbeeldings- en tekstinbeddingen. We bestuderen deze spanning door middel van de bindingsfunctie, die concepten afbeeldt op scène-inbeddingen. We vinden dat scène-inbeddingen additief ontbinden in objectrepresentaties, wat verklaart waarom unimodale probes objectinformatie kunnen terugvinden. De bindingsfunctie van CLIP heeft echter een hoge complexiteit, wat waarschijnlijk verhindert dat de beeld- en tekstencoders een gedeeld bindingsmechanisme leren dat generaliseert naar ongeziene conceptcombinaties. We vragen ons vervolgens af of deze beperking fundamenteel is. We tonen aan dat dit niet het geval is. In gecontroleerde transformatormodellen die vanaf nul zijn getraind, ontstaat bindingsgeneralisatie bij voldoende datadekking. Deze modellen leren bindingsfuncties met lage complexiteit, gekenmerkt door multiplicatieve interacties tussen concepten, wat systematische generalisatie mogelijk maakt. De code is openbaar beschikbaar op https://github.com/oshapio/binding-concepts-complexity.

English

Humans easily determine which color belongs to which shape in multi-object scenes, an ability known as concept binding. Vision-language embedding models such as CLIP struggle with binding: they recognize individual concepts but fail to represent which concepts form which objects. Although CLIP behaves like a bag-of-concepts model in cross-modal retrieval, object information is recoverable from its image and text embeddings separately. We study this tension through the binding function, which maps concepts to scene embeddings. We find that scene embeddings decompose additively into object representations, explaining why uni-modal probes can recover object information. However, CLIP's binding function is high-complexity, which likely prevents the image and text encoders from learning a shared binding mechanism that generalizes to unseen concept combinations. We then ask whether this limitation is fundamental. We show that it is not. In controlled transformer models trained from scratch, binding generalization emerges with sufficient data coverage. These models learn low-complexity binding functions characterized by multiplicative interactions between concepts, enabling systematic generalization. Code is publicly available at https://github.com/oshapio/binding-concepts-complexity.