Das Coverage-Prinzip: Ein Rahmenwerk zum Verständnis von kompositioneller Generalisierung

The Coverage Principle: A Framework for Understanding Compositional Generalization

May 26, 2025

Autoren: Hoyeon Chang, Jinho Park, Hanseul Cho, Sohee Yang, Miyoung Ko, Hyeonbin Hwang, Seungpil Won, Dohaeng Lee, Youbin Ahn, Minjoon Seo

cs.AI

Zusammenfassung

Große Sprachmodelle glänzen bei der Mustererkennung, scheitern jedoch oft an systematischer kompositioneller Generalisierung. Wir schlagen das Coverage-Prinzip vor: ein datenzentriertes Framework, das zeigt, dass Modelle, die sich hauptsächlich auf Mustererkennung für kompositionelle Aufgaben verlassen, nicht zuverlässig über die Substitution von Fragmenten hinaus generalisieren können, die in denselben Kontexten identische Ergebnisse liefern. Wir demonstrieren, dass dieses Framework eine starke Vorhersagekraft für die Generalisierungsfähigkeiten von Transformern besitzt. Erstens leiten wir ab und bestätigen empirisch, dass die für Zwei-Hop-Generalisierung erforderlichen Trainingsdaten mindestens quadratisch mit der Größe des Tokensatzes wachsen und die Effizienz der Trainingsdaten sich bei einer 20-fachen Parameterskalierung nicht verbessert. Zweitens zeigen wir für kompositionelle Aufgaben mit Pfadmehrdeutigkeit, bei denen eine Variable die Ausgabe über mehrere Berechnungspfade beeinflusst, dass Transformer kontextabhängige Zustandsrepräsentationen lernen, die sowohl die Leistung als auch die Interoperabilität untergraben. Drittens verbessert die Chain-of-Thought-Supervision die Effizienz der Trainingsdaten für Multi-Hop-Aufgaben, kämpft jedoch weiterhin mit Pfadmehrdeutigkeit. Schließlich skizzieren wir eine mechanismenbasierte Taxonomie, die drei Arten der Generalisierung in neuronalen Netzen unterscheidet: strukturbasiert (begrenzt durch Coverage), eigenschaftsbasiert (Nutzung algebraischer Invarianzen) und geteilter Operator (durch Wiederverwendung von Funktionen). Diese konzeptionelle Linse kontextualisiert unsere Ergebnisse und zeigt, wo neue architektonische Ideen benötigt werden, um systematische Kompositionalität zu erreichen. Insgesamt bietet das Coverage-Prinzip eine einheitliche Perspektive zum Verständnis kompositionellen Denkens und unterstreicht die Notwendigkeit grundlegender architektonischer oder Trainingsinnovationen, um echte systematische Kompositionalität zu erreichen.

English

Large language models excel at pattern matching, yet often fall short in systematic compositional generalization. We propose the coverage principle: a data-centric framework showing that models relying primarily on pattern matching for compositional tasks cannot reliably generalize beyond substituting fragments that yield identical results when used in the same contexts. We demonstrate that this framework has a strong predictive power for the generalization capabilities of Transformers. First, we derive and empirically confirm that the training data required for two-hop generalization grows at least quadratically with the token set size, and the training data efficiency does not improve with 20x parameter scaling. Second, for compositional tasks with path ambiguity where one variable affects the output through multiple computational paths, we show that Transformers learn context-dependent state representations that undermine both performance and interoperability. Third, Chain-of-Thought supervision improves training data efficiency for multi-hop tasks but still struggles with path ambiguity. Finally, we outline a mechanism-based taxonomy that distinguishes three ways neural networks can generalize: structure-based (bounded by coverage), property-based (leveraging algebraic invariances), and shared-operator (through function reuse). This conceptual lens contextualizes our results and highlights where new architectural ideas are needed to achieve systematic compositionally. Overall, the coverage principle provides a unified lens for understanding compositional reasoning, and underscores the need for fundamental architectural or training innovations to achieve truly systematic compositionality.