DeepLoop: Tiefenskalierung für geschleifte Transformatoren

Zusammenfassung

Geschleifte Transformer skalieren sequentielle Berechnung, indem sie einen kompakten Stapel physischer Blöcke für mehrere Durchläufe anwenden, was die entfaltete Tiefe erhöht, ohne die gespeicherten Parameter zu vergrößern. Diese Wiederverwendung verändert das Residuen-Skalierungsproblem: In einem nicht gebundenen Transformer erhält und wendet jeder Residualzweig seine eigene Parameteraktualisierung an, während in einem geschleiften Transformer eine gemeinsame Aktualisierung Gradienten aus wiederholten Besuchen aggregiert und von denselben Besuchen im nächsten linearisierten Vorwärtsdurchlauf zurückgelesen wird. Wir formalisieren diesen gebundenen Tiefeneffekt durch eine durch einen Besuchsausrichtungskoeffizienten κ_R kontrollierte Störungsgrenze erster Ordnung. Die Grenze reproduziert den DeepNorm-Exponenten, wenn die Besuche dekorrelieren, erfordert jedoch im konservativen ausgerichteten Regime eine Erhöhung des Exponenten von 1/4 auf 1/2, wenn die Schleifenanzahl bei fester physischer Tiefe steigt. Die resultierende Methode, DeepLoop, behält die Post-LN DeepNorm-Architektur bei und setzt α=(2N)^{1/2} und β=(8N)^{-1/2} für die entfaltete Tiefe N. Bei GPT-artigen geschleiften Sprachmodellen im GPT-2-Klein- und GPT-2-Mittelformat ist DeepLoop neutral, wenn kein physischer Block erneut besucht wird, und verbessert den Validierungsverlust und die nachgelagerte Genauigkeit, sobald die rekurrente Tiefe aktiviert wird. Diese Ergebnisse zeigen, dass eine stabile rekurrente Tiefe Residuen-Skalierungsregeln erfordert, die Parameterbesuche und nicht nur die nominale Schichtanzahl berücksichtigen.

English

Looped Transformers scale sequential computation by applying a compact stack of physical blocks for multiple rounds, increasing unrolled depth without increasing stored parameters. This reuse changes the residual-scaling problem: in an untied Transformer, each residual branch receives and applies its own parameter update, whereas in a looped Transformer one shared update aggregates gradients from repeated visits and is read back by those same visits in the next linearized forward pass. We formalize this tied-depth effect through a first-order perturbation bound controlled by a visit-alignment coefficient κ_R. The bound recovers the DeepNorm exponent when visits decorrelate, but in the conservative aligned regime it requires the exponent to increase from 1/4 to 1/2 as loop count grows at fixed physical depth. The resulting method, DeepLoop, keeps the Post-LN DeepNorm architecture and sets α=(2N)^{1/2} and β=(8N)^{-1/2} for unrolled depth N. On GPT-style looped language models at GPT-2 small and GPT-2 medium scale, DeepLoop is neutral when no physical block is revisited and improves validation loss and downstream accuracy once recurrent depth is activated. These results show that stable recurrent depth requires residual scaling rules that account for parameter visits, not only nominal layer count.