Wie können Einbettungsmodelle Konzepte binden?

Zusammenfassung

Menschen bestimmen leicht, welche Farbe zu welcher Form in Szenen mit mehreren Objekten gehört – eine Fähigkeit, die als Konzeptbindung bezeichnet wird. Vision-Language-Einbettungsmodelle wie CLIP haben Schwierigkeiten mit der Bindung: Sie erkennen einzelne Konzepte, können aber nicht darstellen, welche Konzepte welche Objekte bilden. Obwohl sich CLIP im multimodalen Retrieval wie ein Bag-of-Concepts-Modell verhält, sind Objektinformationen aus seinen Bild- und Texteinbettungen getrennt rekonstruierbar. Wir untersuchen diese Spannung anhand der Bindungsfunktion, die Konzepte auf Szeneneinbettungen abbildet. Wir stellen fest, dass Szeneneinbettungen additiv in Objektrepräsentationen zerfallen, was erklärt, warum unimodale Sonden Objektinformationen rekonstruieren können. Allerdings weist die Bindungsfunktion von CLIP eine hohe Komplexität auf, die wahrscheinlich verhindert, dass die Bild- und Textencoder einen gemeinsamen Bindungsmechanismus erlernen, der auf unbekannte Kombinationen von Konzepten verallgemeinert. Anschließend fragen wir, ob diese Einschränkung grundlegend ist. Wir zeigen, dass dies nicht der Fall ist. In kontrollierten Transformer-Modellen, die von Grund auf trainiert werden, entsteht eine Generalisierung der Bindung bei ausreichender Datenabdeckung. Diese Modelle erlernen Bindungsfunktionen mit niedriger Komplexität, die durch multiplikative Interaktionen zwischen Konzepten gekennzeichnet sind, und ermöglichen so eine systematische Generalisierung. Der Code ist öffentlich verfügbar unter https://github.com/oshapio/binding-concepts-complexity.

English

Humans easily determine which color belongs to which shape in multi-object scenes, an ability known as concept binding. Vision-language embedding models such as CLIP struggle with binding: they recognize individual concepts but fail to represent which concepts form which objects. Although CLIP behaves like a bag-of-concepts model in cross-modal retrieval, object information is recoverable from its image and text embeddings separately. We study this tension through the binding function, which maps concepts to scene embeddings. We find that scene embeddings decompose additively into object representations, explaining why uni-modal probes can recover object information. However, CLIP's binding function is high-complexity, which likely prevents the image and text encoders from learning a shared binding mechanism that generalizes to unseen concept combinations. We then ask whether this limitation is fundamental. We show that it is not. In controlled transformer models trained from scratch, binding generalization emerges with sufficient data coverage. These models learn low-complexity binding functions characterized by multiplicative interactions between concepts, enabling systematic generalization. Code is publicly available at https://github.com/oshapio/binding-concepts-complexity.