L'hypothèse de séparation prédiction-état

Résumé

Les Transformers utilisent le même flux de calcul avant pour prédire le jeton suivant et stocker l'état utile pour les prédictions futures de jetons. Nous formulons l'hypothèse de séparation état-prédiction : dissocier ces deux rôles améliore la performance en modélisation du langage. Nous concevons une variante de Transformer qui utilise deux flux de calcul pour séparer les deux fonctions, et menons des expériences de pré-entraînement à différentes échelles. Nos expériences montrent que la séparation état-prédiction offre systématiquement une meilleure efficacité en termes de données et de calcul, améliorant la perte de validation et surpassant les Transformers standards de 2 à 3 points de pourcentage en moyenne sur les tâches en aval. Nous réalisons également une analyse empirique approfondie qui écarte les facteurs confondants potentiels et démontre la différence fondamentale dans les gradients qu'engendre notre conception.

English

Transformers use the same forward computation stream to both predict the next token and store useful state for future token predictions. We formulate the state-prediction separation hypothesis: disentangling the two roles yields better language modeling performance. We design a Transformer variant that uses two computation streams to separate the two functions, and conduct pretraining experiments across various scales. Our experiments show that state-prediction separation consistently offers better data and compute efficiencies, improving validation loss and outperforming standard Transformers by 2--3 percentage points on average on downstream tasks. We also conduct extensive empirical analysis that rules out potential confounders and demonstrates the fundamental difference in the gradients our design entails.