Compositionele generalisatie vereist lineaire, orthogonale representaties in vision-embeddingmodellen

Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models

February 27, 2026

Auteurs: Arnas Uselis, Andrea Dittadi, Seong Joon Oh

cs.AI

Samenvatting

Compositionele generalisatie, het vermogen om bekende onderdelen in nieuwe contexten te herkennen, is een bepalende eigenschap van intelligente systemen. Hoewel moderne modellen worden getraind op enorme datasets, bestrijken deze slechts een fractie van de combinatorische ruimte van mogelijke invoer, wat de vraag oproept welke structuur representaties moeten hebben om generalisatie naar onbekende combinaties te ondersteunen. We formaliseren drie vereisten voor compositionele generalisatie onder standaardtraining (deelbaarheid, overdraagbaarheid, stabiliteit) en tonen aan dat deze noodzakelijke geometrische beperkingen opleggen: representaties moeten lineair ontbonden kunnen worden in per-concept componenten, en deze componenten moeten orthogonaal zijn tussen concepten. Dit verschaft een theoretische onderbouwing voor de Lineaire Representatiehypothese: de lineaire structuur die veelvuldig wordt waargenomen in neurale representaties is een noodzakelijk gevolg van compositionele generalisatie. We leiden verder dimensiegrenzen af die het aantal combineerbare concepten koppelen aan de embedded-geometrie. Empirisch evalueren we deze voorspellingen in moderne visiemodellen (CLIP, SigLIP, DINO) en vinden dat representaties een gedeeltelijke lineaire factorisatie vertonen met laag-rang, bijna-orthogonale per-concept factoren, en dat de mate van deze structuur correleert met compositionele generalisatie op onbekende combinaties. Naarmate modellen blijven schalen, voorspellen deze voorwaarden de representatiegeometrie waarop ze kunnen convergeren. Code is beschikbaar op https://github.com/oshapio/necessary-compositionality.

English

Compositional generalization, the ability to recognize familiar parts in novel contexts, is a defining property of intelligent systems. Although modern models are trained on massive datasets, they still cover only a tiny fraction of the combinatorial space of possible inputs, raising the question of what structure representations must have to support generalization to unseen combinations. We formalize three desiderata for compositional generalization under standard training (divisibility, transferability, stability) and show they impose necessary geometric constraints: representations must decompose linearly into per-concept components, and these components must be orthogonal across concepts. This provides theoretical grounding for the Linear Representation Hypothesis: the linear structure widely observed in neural representations is a necessary consequence of compositional generalization. We further derive dimension bounds linking the number of composable concepts to the embedding geometry. Empirically, we evaluate these predictions across modern vision models (CLIP, SigLIP, DINO) and find that representations exhibit partial linear factorization with low-rank, near-orthogonal per-concept factors, and that the degree of this structure correlates with compositional generalization on unseen combinations. As models continue to scale, these conditions predict the representational geometry they may converge to. Code is available at https://github.com/oshapio/necessary-compositionality.