La généralisation compositionnelle nécessite des représentations linéaires et orthogonales dans les modèles d'embedding visuel

Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models

February 27, 2026

Auteurs: Arnas Uselis, Andrea Dittadi, Seong Joon Oh

cs.AI

Résumé

La généralisation compositionnelle, capacité à reconnaître des éléments familiers dans des contextes nouveaux, est une propriété déterminante des systèmes intelligents. Bien que les modèles modernes soient entraînés sur des jeux de données massifs, ceux-ci ne couvrent qu'une infime fraction de l'espace combinatoire des entrées possibles, ce qui soulève la question de la structure que doivent avoir les représentations pour soutenir une généralisation à des combinaisons non vues. Nous formalisons trois desiderata pour la généralisation compositionnelle dans un cadre d'entraînement standard (divisibilité, transférabilité, stabilité) et montrons qu'ils imposent des contraintes géométriques nécessaires : les représentations doivent se décomposer linéairement en composantes par concept, et ces composantes doivent être orthogonales entre les concepts. Cela fournit un fondement théorique à l'hypothèse de la représentation linéaire : la structure linéaire largement observée dans les représentations neuronales est une conséquence nécessaire de la généralisation compositionnelle. Nous dérivons en outre des bornes dimensionnelles reliant le nombre de concepts composables à la géométrie de l'embedding. Empiriquement, nous évaluons ces prédictions sur des modèles de vision modernes (CLIP, SigLIP, DINO) et constatons que les représentations présentent une factorisation linéaire partielle avec des facteurs par concept de faible rang et quasi orthogonaux, et que le degré de cette structure corrèle avec la généralisation compositionnelle sur des combinaisons non vues. À mesure que les modèles gagnent en échelle, ces conditions prédisent la géométrie représentationnelle vers laquelle ils pourraient converger. Le code est disponible à l'adresse https://github.com/oshapio/necessary-compositionality.

English

Compositional generalization, the ability to recognize familiar parts in novel contexts, is a defining property of intelligent systems. Although modern models are trained on massive datasets, they still cover only a tiny fraction of the combinatorial space of possible inputs, raising the question of what structure representations must have to support generalization to unseen combinations. We formalize three desiderata for compositional generalization under standard training (divisibility, transferability, stability) and show they impose necessary geometric constraints: representations must decompose linearly into per-concept components, and these components must be orthogonal across concepts. This provides theoretical grounding for the Linear Representation Hypothesis: the linear structure widely observed in neural representations is a necessary consequence of compositional generalization. We further derive dimension bounds linking the number of composable concepts to the embedding geometry. Empirically, we evaluate these predictions across modern vision models (CLIP, SigLIP, DINO) and find that representations exhibit partial linear factorization with low-rank, near-orthogonal per-concept factors, and that the degree of this structure correlates with compositional generalization on unseen combinations. As models continue to scale, these conditions predict the representational geometry they may converge to. Code is available at https://github.com/oshapio/necessary-compositionality.