La generalizzazione compositiva richiede rappresentazioni lineari e ortogonali nei modelli di incorporamento visivo.
Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models
February 27, 2026
Autori: Arnas Uselis, Andrea Dittadi, Seong Joon Oh
cs.AI
Abstract
La generalizzazione composizionale, la capacità di riconoscere parti familiari in contesti nuovi, è una proprietà distintiva dei sistemi intelligenti. Sebbene i modelli moderni vengano addestrati su dataset di enormi dimensioni, questi coprono solo una minuscola frazione dello spazio combinatorio dei possibili input, sollevando la questione di quale struttura debbano avere le rappresentazioni per supportare la generalizzazione a combinazioni non viste. Formalizziamo tre desiderata per la generalizzazione composizionale sotto addestramento standard (divisibilità, trasferibilità, stabilità) e dimostriamo che essi impongono vincoli geometrici necessari: le rappresentazioni devono scomporsi linearmente in componenti per concetto, e queste componenti devono essere ortogonali tra i concetti. Ciò fornisce un fondamento teorico per l'Ipotesi della Rappresentazione Lineare: la struttura lineare ampiamente osservata nelle rappresentazioni neurali è una conseguenza necessaria della generalizzazione composizionale. Deriviamo inoltre limiti dimensionali che collegano il numero di concetti componibili alla geometria dell'embedding. Empiricamente, valutiamo queste previsioni su modelli visivi moderni (CLIP, SigLIP, DINO) e troviamo che le rappresentazioni esibiscono una fattorizzazione lineare parziale con fattori per concetto di basso rango e quasi-ortogonali, e che il grado di questa struttura si correla con la generalizzazione composizionale su combinazioni non viste. Man mano che i modelli continuano a scalare, queste condizioni predicono la geometria rappresentazionale a cui potrebbero convergere. Il codice è disponibile all'indirizzo https://github.com/oshapio/necessary-compositionality.
English
Compositional generalization, the ability to recognize familiar parts in novel contexts, is a defining property of intelligent systems. Although modern models are trained on massive datasets, they still cover only a tiny fraction of the combinatorial space of possible inputs, raising the question of what structure representations must have to support generalization to unseen combinations. We formalize three desiderata for compositional generalization under standard training (divisibility, transferability, stability) and show they impose necessary geometric constraints: representations must decompose linearly into per-concept components, and these components must be orthogonal across concepts. This provides theoretical grounding for the Linear Representation Hypothesis: the linear structure widely observed in neural representations is a necessary consequence of compositional generalization. We further derive dimension bounds linking the number of composable concepts to the embedding geometry. Empirically, we evaluate these predictions across modern vision models (CLIP, SigLIP, DINO) and find that representations exhibit partial linear factorization with low-rank, near-orthogonal per-concept factors, and that the degree of this structure correlates with compositional generalization on unseen combinations. As models continue to scale, these conditions predict the representational geometry they may converge to. Code is available at https://github.com/oshapio/necessary-compositionality.