A Generalização Composicional Requer Representações Lineares e Ortogonais em Modelos de Incorporação Visual
Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models
February 27, 2026
Autores: Arnas Uselis, Andrea Dittadi, Seong Joon Oh
cs.AI
Resumo
A generalização composicional, a capacidade de reconhecer partes familiares em contextos novos, é uma propriedade definidora de sistemas inteligentes. Embora os modelos modernos sejam treinados em conjuntos de dados massivos, eles ainda cobrem apenas uma pequena fração do espaço combinatório de entradas possíveis, levantando a questão de que estrutura as representações devem ter para suportar a generalização para combinações não vistas. Formalizamos três desideratos para a generalização composicional sob treinamento padrão (divisibilidade, transferibilidade, estabilidade) e mostramos que estes impõem restrições geométricas necessárias: as representações devem se decompor linearmente em componentes por conceito, e estes componentes devem ser ortogonais entre conceitos. Isto fornece uma base teórica para a Hipótese da Representação Linear: a estrutura linear amplamente observada nas representações neurais é uma consequência necessária da generalização composicional. Além disso, derivamos limites de dimensão que ligam o número de conceitos composicionáveis à geometria do *embedding*. Empiricamente, avaliamos estas previsões em modelos modernos de visão (CLIP, SigLIP, DINO) e descobrimos que as representações exibem fatoração linear parcial com fatores por conceito de baixa classificação e quase ortogonais, e que o grau desta estrutura correlaciona-se com a generalização composicional em combinações não vistas. À medida que os modelos continuam a escalar, estas condições preveem a geometria representacional para a qual eles podem convergir. O código está disponível em https://github.com/oshapio/necessary-compositionality.
English
Compositional generalization, the ability to recognize familiar parts in novel contexts, is a defining property of intelligent systems. Although modern models are trained on massive datasets, they still cover only a tiny fraction of the combinatorial space of possible inputs, raising the question of what structure representations must have to support generalization to unseen combinations. We formalize three desiderata for compositional generalization under standard training (divisibility, transferability, stability) and show they impose necessary geometric constraints: representations must decompose linearly into per-concept components, and these components must be orthogonal across concepts. This provides theoretical grounding for the Linear Representation Hypothesis: the linear structure widely observed in neural representations is a necessary consequence of compositional generalization. We further derive dimension bounds linking the number of composable concepts to the embedding geometry. Empirically, we evaluate these predictions across modern vision models (CLIP, SigLIP, DINO) and find that representations exhibit partial linear factorization with low-rank, near-orthogonal per-concept factors, and that the degree of this structure correlates with compositional generalization on unseen combinations. As models continue to scale, these conditions predict the representational geometry they may converge to. Code is available at https://github.com/oshapio/necessary-compositionality.