Sul "Pregiudizio Induttivo" nei Modelli di Sequenza
On the "Induction Bias" in Sequence Models
February 20, 2026
Autori: M. Reza Ebrahimi, Michaël Defferrard, Sunny Panchal, Roland Memisevic
cs.AI
Abstract
Nonostante il notevole successo pratico dei modelli linguistici basati sui transformer, recenti studi hanno sollevato preoccupazioni riguardo alla loro capacità di eseguire il tracciamento dello stato. In particolare, un corpus di letteratura in crescita ha dimostrato questa limitazione principalmente attraverso fallimenti nella generalizzazione fuori distribuzione (OOD), come l'estrapolazione di lunghezza. In questo lavoro, spostiamo l'attenzione sulle implicazioni in distribuzione di queste limitazioni. Conduciamo un ampio studio sperimentale sull'efficienza dei dati dei transformer e delle reti neurali ricorrenti (RNN) attraverso molteplici regimi di supervisione. Scopriamo che la quantità di dati di addestramento richiesta dai transformer cresce molto più rapidamente con la dimensione dello spazio degli stati e la lunghezza della sequenza rispetto alle RNN. Inoltre, analizziamo la misura in cui i meccanismi appresi di tracciamento dello stato sono condivisi tra diverse lunghezze di sequenza. Dimostriamo che i transformer mostrano una condivisione dei pesi trascurabile o addirittura dannosa tra le diverse lunghezze, indicando che apprendono soluzioni specifiche per la lunghezza in isolamento. Al contrario, i modelli ricorrenti mostrano un apprendimento ammortizzato efficace condividendo i pesi tra le lunghezze, permettendo ai dati di una lunghezza di sequenza di migliorare le prestazioni su altre. Nel complesso, questi risultati dimostrano che il tracciamento dello stato rimane una sfida fondamentale per i transformer, anche quando le distribuzioni di addestramento e valutazione coincidono.
English
Despite the remarkable practical success of transformer-based language models, recent work has raised concerns about their ability to perform state tracking. In particular, a growing body of literature has shown this limitation primarily through failures in out-of-distribution (OOD) generalization, such as length extrapolation. In this work, we shift attention to the in-distribution implications of these limitations. We conduct a large-scale experimental study of the data efficiency of transformers and recurrent neural networks (RNNs) across multiple supervision regimes. We find that the amount of training data required by transformers grows much more rapidly with state-space size and sequence length than for RNNs. Furthermore, we analyze the extent to which learned state-tracking mechanisms are shared across different sequence lengths. We show that transformers exhibit negligible or even detrimental weight sharing across lengths, indicating that they learn length-specific solutions in isolation. In contrast, recurrent models exhibit effective amortized learning by sharing weights across lengths, allowing data from one sequence length to improve performance on others. Together, these results demonstrate that state tracking remains a fundamental challenge for transformers, even when training and evaluation distributions match.