Композиционная обобщающая способность требует линейных ортогональных представлений в моделях визуального эмбеддинга.

Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models

February 27, 2026

Авторы: Arnas Uselis, Andrea Dittadi, Seong Joon Oh

cs.AI

Аннотация

Композиционное обобщение — способность распознавать знакомые части в новых контекстах — является определяющим свойством интеллектуальных систем. Хотя современные модели обучаются на огромных наборах данных, они охватывают лишь малую часть комбинаторного пространства возможных входных данных, что ставит вопрос о том, какую структуру должны иметь репрезентации для обеспечения обобщения на невиданные комбинации. Мы формализуем три требования к композиционному обобщению при стандартном обучении (делимость, переносимость, стабильность) и показываем, что они накладывают необходимые геометрические ограничения: репрезентации должны линейно раскладываться на компоненты, соответствующие отдельным концептам, и эти компоненты должны быть ортогональны между концептами. Это дает теоретическое обоснование Гипотезы о линейной репрезентации: широко наблюдаемая линейная структура нейронных репрезентаций является необходимым следствием композиционного обобщения. Мы также выводим оценки размерности, связывающие количество композируемых концептов с геометрией эмбеддингов. Эмпирически мы проверяем эти предсказания на современных моделях компьютерного зрения (CLIP, SigLIP, DINO) и обнаруживаем, что репрезентации демонстрируют частичную линейную факторизацию с низкоранговыми, почти ортогональными факторами для каждого концепта, причем степень этой структуры коррелирует с композиционным обобщением на невиданные комбинации. По мере дальнейшего масштабирования моделей эти условия предсказывают геометрию репрезентаций, к которой они могут сходиться. Код доступен по адресу https://github.com/oshapio/necessary-compositionality.

English

Compositional generalization, the ability to recognize familiar parts in novel contexts, is a defining property of intelligent systems. Although modern models are trained on massive datasets, they still cover only a tiny fraction of the combinatorial space of possible inputs, raising the question of what structure representations must have to support generalization to unseen combinations. We formalize three desiderata for compositional generalization under standard training (divisibility, transferability, stability) and show they impose necessary geometric constraints: representations must decompose linearly into per-concept components, and these components must be orthogonal across concepts. This provides theoretical grounding for the Linear Representation Hypothesis: the linear structure widely observed in neural representations is a necessary consequence of compositional generalization. We further derive dimension bounds linking the number of composable concepts to the embedding geometry. Empirically, we evaluate these predictions across modern vision models (CLIP, SigLIP, DINO) and find that representations exhibit partial linear factorization with low-rank, near-orthogonal per-concept factors, and that the degree of this structure correlates with compositional generalization on unseen combinations. As models continue to scale, these conditions predict the representational geometry they may converge to. Code is available at https://github.com/oshapio/necessary-compositionality.