Die Zustands-Vorhersage-Separationshypothese

Zusammenfassung

Transformer verwenden denselben Vorwärtsberechnungsstrom sowohl zur Vorhersage des nächsten Tokens als auch zur Speicherung nützlicher Zustände für zukünftige Token-Vorhersagen. Wir formulieren die State-Prediction-Separation-Hypothese: Die Entflechtung dieser beiden Rollen führt zu einer besseren Sprachmodellierungsleistung. Wir entwickeln eine Transformer-Variante, die zwei Berechnungsströme zur Trennung der beiden Funktionen nutzt, und führen Vortrainingsexperimente in verschiedenen Größenordnungen durch. Unsere Experimente zeigen, dass die State-Prediction-Separation konsistent eine bessere Daten- und Recheneffizienz bietet, die Validierungsverluste verbessert und Standard-Transformer bei nachgelagerten Aufgaben im Durchschnitt um 2–3 Prozentpunkte übertrifft. Zudem führen wir umfangreiche empirische Analysen durch, die potenzielle Störfaktoren ausschließen und den grundlegenden Unterschied in den Gradienten aufzeigen, die unser Design mit sich bringt.

English

Transformers use the same forward computation stream to both predict the next token and store useful state for future token predictions. We formulate the state-prediction separation hypothesis: disentangling the two roles yields better language modeling performance. We design a Transformer variant that uses two computation streams to separate the two functions, and conduct pretraining experiments across various scales. Our experiments show that state-prediction separation consistently offers better data and compute efficiencies, improving validation loss and outperforming standard Transformers by 2--3 percentage points on average on downstream tasks. We also conduct extensive empirical analysis that rules out potential confounders and demonstrates the fundamental difference in the gradients our design entails.