Zu den "Induktionsverzerrungen" in Sequenzmodellen
On the "Induction Bias" in Sequence Models
February 20, 2026
papers.authors: M. Reza Ebrahimi, Michaël Defferrard, Sunny Panchal, Roland Memisevic
cs.AI
papers.abstract
Trotz des bemerkenswerten praktischen Erfolgs transformerbasierter Sprachmodelle haben neuere Arbeiten Bedenken hinsichtlich ihrer Fähigkeit zum State-Tracking aufgeworfen. Insbesondere hat eine wachsende Anzahl von Veröffentlichungen diese Einschränkung hauptsächlich durch Fehler bei der Out-of-Distribution (OOD)-Generalisation, wie z.B. Längenextrapolation, aufgezeigt. In dieser Arbeit lenken wir die Aufmerksamkeit auf die In-Distribution-Implikationen dieser Einschränkungen. Wir führen eine groß angelegte experimentelle Studie zur Dateneffizienz von Transformern und rekurrenten neuronalen Netzen (RNNs) über verschiedene Überwachungsregime hinweg durch. Wir stellen fest, dass der von Transformern benötigte Umfang an Trainingsdaten mit der Größe des Zustandsraums und der Sequenzlänge viel schneller wächst als bei RNNs. Darüber hinaus analysieren wir, inwieweit gelernte State-Tracking-Mechanismen über verschiedene Sequenzlängen hinweg geteilt werden. Wir zeigen, dass Transformer vernachlässigbaren oder sogar nachteiligen Gewichteteiling über Längen hinweg aufweisen, was darauf hindeutet, dass sie längenspezifische Lösungen isoliert erlernen. Im Gegensatz dazu zeigen rekurrente Modelle effektives amortisiertes Lernen durch Gewichteteiling über Längen hinweg, was es ermöglicht, dass Daten von einer Sequenzlänge die Leistung bei anderen verbessern. Zusammengenommen demonstrieren diese Ergebnisse, dass State-Tracking auch bei übereinstimmenden Trainings- und Evaluierungsverteilungen eine grundlegende Herausforderung für Transformer bleibt.
English
Despite the remarkable practical success of transformer-based language models, recent work has raised concerns about their ability to perform state tracking. In particular, a growing body of literature has shown this limitation primarily through failures in out-of-distribution (OOD) generalization, such as length extrapolation. In this work, we shift attention to the in-distribution implications of these limitations. We conduct a large-scale experimental study of the data efficiency of transformers and recurrent neural networks (RNNs) across multiple supervision regimes. We find that the amount of training data required by transformers grows much more rapidly with state-space size and sequence length than for RNNs. Furthermore, we analyze the extent to which learned state-tracking mechanisms are shared across different sequence lengths. We show that transformers exhibit negligible or even detrimental weight sharing across lengths, indicating that they learn length-specific solutions in isolation. In contrast, recurrent models exhibit effective amortized learning by sharing weights across lengths, allowing data from one sequence length to improve performance on others. Together, these results demonstrate that state tracking remains a fundamental challenge for transformers, even when training and evaluation distributions match.