Как модели встраивания могут связывать понятия?

Аннотация

Люди легко определяют, какой цвет соответствует какой форме в сценах с несколькими объектами — способность, известная как связывание концептов (concept binding). Визуально-языковые модели эмбеддингов, такие как CLIP, испытывают трудности со связыванием: они распознают отдельные концепты, но не могут представить, какие концепты образуют какие объекты. Хотя CLIP ведет себя как модель «мешка концептов» (bag-of-concepts) в кроссмодальном поиске, информация об объектах может быть восстановлена из его эмбеддингов изображений и текстов по отдельности. Мы изучаем это противоречие с помощью функции связывания, которая отображает концепты в эмбеддинги сцены. Мы обнаружили, что эмбеддинги сцены аддитивно разлагаются на представления объектов, что объясняет, почему одномодальные зонды могут восстанавливать информацию об объектах. Однако функция связывания CLIP имеет высокую сложность, что, вероятно, мешает кодировщикам изображений и текстов изучить общий механизм связывания, который обобщается на невиданные комбинации концептов. Затем мы задаемся вопросом, является ли это ограничение фундаментальным. Мы показываем, что нет. В контролируемых моделях трансформеров, обученных с нуля, обобщение связывания возникает при достаточном охвате данных. Эти модели изучают функции связывания низкой сложности, характеризующиеся мультипликативными взаимодействиями между концептами, что обеспечивает систематическое обобщение. Код доступен публично по адресу https://github.com/oshapio/binding-concepts-complexity.

English

Humans easily determine which color belongs to which shape in multi-object scenes, an ability known as concept binding. Vision-language embedding models such as CLIP struggle with binding: they recognize individual concepts but fail to represent which concepts form which objects. Although CLIP behaves like a bag-of-concepts model in cross-modal retrieval, object information is recoverable from its image and text embeddings separately. We study this tension through the binding function, which maps concepts to scene embeddings. We find that scene embeddings decompose additively into object representations, explaining why uni-modal probes can recover object information. However, CLIP's binding function is high-complexity, which likely prevents the image and text encoders from learning a shared binding mechanism that generalizes to unseen concept combinations. We then ask whether this limitation is fundamental. We show that it is not. In controlled transformer models trained from scratch, binding generalization emerges with sufficient data coverage. These models learn low-complexity binding functions characterized by multiplicative interactions between concepts, enabling systematic generalization. Code is publicly available at https://github.com/oshapio/binding-concepts-complexity.