Sur le « biais d’induction » dans les modèles de séquence
On the "Induction Bias" in Sequence Models
February 20, 2026
papers.authors: M. Reza Ebrahimi, Michaël Defferrard, Sunny Panchal, Roland Memisevic
cs.AI
papers.abstract
Malgré le succès pratique remarquable des modèles de langage basés sur les transformateurs, des travaux récents ont soulevé des inquiétudes quant à leur capacité à effectuer un suivi d'état. En particulier, une littérature croissante a mis en évidence cette limitation principalement à travers des échecs en généralisation hors-distribution (OOD), comme l'extrapolation en longueur. Dans ce travail, nous portons notre attention sur les implications de ces limitations en distribution. Nous menons une étude expérimentale à grande échelle sur l'efficacité des données des transformateurs et des réseaux neuronaux récurrents (RNN) dans plusieurs régimes de supervision. Nous constatons que la quantité de données d'entraînement requise par les transformateurs croît beaucoup plus rapidement avec la taille de l'espace d'état et la longueur des séquences que pour les RNN. De plus, nous analysons dans quelle mesure les mécanismes appris de suivi d'état sont partagés entre différentes longueurs de séquence. Nous montrons que les transformateurs présentent un partage de poids négligeable, voire préjudiciable, entre les longueurs, ce qui indiquent qu'ils apprennent des solutions spécifiques à chaque longueur de manière isolée. En revanche, les modèles récurrents présentent un apprentissage amorti efficace en partageant les poids entre les longueurs, permettant aux données d'une longueur de séquence d'améliorer les performances sur d'autres. Ensemble, ces résultats démontrent que le suivi d'état reste un défi fondamental pour les transformateurs, même lorsque les distributions d'entraînement et d'évaluation correspondent.
English
Despite the remarkable practical success of transformer-based language models, recent work has raised concerns about their ability to perform state tracking. In particular, a growing body of literature has shown this limitation primarily through failures in out-of-distribution (OOD) generalization, such as length extrapolation. In this work, we shift attention to the in-distribution implications of these limitations. We conduct a large-scale experimental study of the data efficiency of transformers and recurrent neural networks (RNNs) across multiple supervision regimes. We find that the amount of training data required by transformers grows much more rapidly with state-space size and sequence length than for RNNs. Furthermore, we analyze the extent to which learned state-tracking mechanisms are shared across different sequence lengths. We show that transformers exhibit negligible or even detrimental weight sharing across lengths, indicating that they learn length-specific solutions in isolation. In contrast, recurrent models exhibit effective amortized learning by sharing weights across lengths, allowing data from one sequence length to improve performance on others. Together, these results demonstrate that state tracking remains a fundamental challenge for transformers, even when training and evaluation distributions match.