Kompositionelle Generalisierung erfordert lineare, orthogonale Repräsentationen in visuellen Einbettungsmodellen
Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models
February 27, 2026
Autoren: Arnas Uselis, Andrea Dittadi, Seong Joon Oh
cs.AI
Zusammenfassung
Kompositionelle Generalisierung, die Fähigkeit, vertraute Bestandteile in neuartigen Kontexten zu erkennen, ist eine definierende Eigenschaft intelligenter Systeme. Obwohl moderne Modelle mit massiven Datensätzen trainiert werden, decken sie nur einen winzigen Bruchteil des kombinatorischen Raums möglicher Eingaben ab. Dies wirft die Frage auf, welche Struktur Repräsentationen haben müssen, um Generalisierung auf ungesehene Kombinationen zu unterstützen. Wir formalisieren drei Anforderungen für kompositionelle Generalisierung unter Standardtraining (Teilbarkeit, Übertragbarkeit, Stabilität) und zeigen, dass diese notwendige geometrische Einschränkungen auferlegen: Repräsentationen müssen sich linear in per-Konzept-Komponenten zerlegen lassen, und diese Komponenten müssen über Konzepte hinweg orthogonal zueinander sein. Dies liefert eine theoretische Grundlage für die Lineare Repräsentationshypothese: Die weitverbreitet beobachtete lineare Struktur in neuronalen Repräsentationen ist eine notwendige Konsequenz kompositioneller Generalisierung. Wir leiten weiterhin Dimensionsschranken ab, die die Anzahl der komponierbaren Konzepte mit der Einbettungsgeometrie verknüpfen. Empirisch evaluieren wir diese Vorhersagen an modernen Vision-Modellen (CLIP, SigLIP, DINO) und stellen fest, dass Repräsentationen eine partielle lineare Faktorisierung mit niedrigrangigen, nahezu orthogonalen Faktoren pro Konzept aufweisen und dass der Grad dieser Struktur mit der kompositionellen Generalisierung bei ungesehenen Kombinationen korreliert. Wenn Modelle weiter skaliert werden, sagen diese Bedingungen die repräsentationale Geometrie voraus, zu der sie konvergieren könnten. Code ist verfügbar unter https://github.com/oshapio/necessary-compositionality.
English
Compositional generalization, the ability to recognize familiar parts in novel contexts, is a defining property of intelligent systems. Although modern models are trained on massive datasets, they still cover only a tiny fraction of the combinatorial space of possible inputs, raising the question of what structure representations must have to support generalization to unseen combinations. We formalize three desiderata for compositional generalization under standard training (divisibility, transferability, stability) and show they impose necessary geometric constraints: representations must decompose linearly into per-concept components, and these components must be orthogonal across concepts. This provides theoretical grounding for the Linear Representation Hypothesis: the linear structure widely observed in neural representations is a necessary consequence of compositional generalization. We further derive dimension bounds linking the number of composable concepts to the embedding geometry. Empirically, we evaluate these predictions across modern vision models (CLIP, SigLIP, DINO) and find that representations exhibit partial linear factorization with low-rank, near-orthogonal per-concept factors, and that the degree of this structure correlates with compositional generalization on unseen combinations. As models continue to scale, these conditions predict the representational geometry they may converge to. Code is available at https://github.com/oshapio/necessary-compositionality.