ゲート付きリカレントトランスフォーマー：リカレント変調による表現力の深さ

要旨

Transformer言語モデルのスケーリングは、表現力とメモリ効率の間に本質的なトレードオフを生み出す。層ごとに固有の重みは、入力への接地から抽象的な精緻化に至る機能特化を維持する一方で、多大なメモリ使用量を伴う。逆に、標準的な深さ方向の重み共有は一様な変換を強制し、表現の多様性を損なってモデリング品質を低下させる。我々は、Gated Recurrent Transformer（ゲート付き再帰型Transformer）を導入する。これは、深さ方向に再帰するTransformerであり、固定深さの前奏（プレリュード）ブロックと結尾（コーダ）ブロックが、R回反復される単一の共有コアを挟み込む。ゲート付き再帰型ニューラルネットワークに着想を得て、我々は軽量な射影と要素単位の更新ゲートを採用する。これらは、隠れ状態、固定された前奏ブロックの出力、および各ステップでリサンプリングされるノイズに条件付けられ、再帰的な更新を変調する。これにより、モデルは、機能的多様性を達成するために多数の固有の層を必要とするのではなく、再帰の各ステップで同じ少数の層に入力を特化させることができる。isoFLOPS制約の下では、3層のGated Recurrent Transformerは、同様の学習および推論FLOPsを持つ12層のGPT-2 Smallベースラインの精度に匹敵し、9つすべてのスケール別予算セルにおいてMoRおよびヘビーテール深さサンプリングを上回る。中規模および大規模では、標準のトークン予算でdenseなモデルの品質に迫り、そのトークン予算を2倍にすると、中規模ではdenseなモデルの品質を上回る。isoPARAMS制約の下では、より深い再帰は、同一のパラメータ数とデータ予算において、非再帰型の対応物の2.84に対して2.76の検証損失を達成する。我々の結果は、適応的深さ再利用が、パラメータを品質と交換するための原理に基づく戦略であることを示している。すなわち、大規模では、コンパイル済み生成レイテンシの10%増加と引き換えに、パラメータを63%、ピーク復号メモリを59%削減できる。

English

Scaling transformer language models creates an inherent tension between expressivity and memory efficiency. While unique weights across layers preserve functional specialization---from input-grounding to abstract refinement---they incur a substantial memory footprint. Conversely, standard depth-sharing enforces uniform transformations that collapse representational diversity and degrade modeling quality. We introduce Gated Recurrent Transformer, a recurrent depth transformer where fixed-depth prelude and coda blocks bracket a single shared core iterated R times. Inspired by gated recurrent neural networks, we employ a lightweight projection and an elementwise update gate---conditioned on the hidden state, the fixed prelude output, and noise resampled at every step---to modulate the recurrent update. This allows the model to specialize the input to the same few layers across recurrences, rather than requiring many unique layers to achieve functional diversity. Under an isoFLOPS constraint, a 3-layer Gated Recurrent Transformer matches the accuracy of a 12-layer GPT-2 Small baseline with similar training and inference FLOPs, and leads MoR and heavy-tail depth sampling in all nine scale-by-budget cells; at medium and large scale it approaches dense quality at the standard token budget and overtakes it at medium scale once that budget is doubled. Under an isoPARAMS constraint, deeper recurrence achieves a 2.76 validation loss versus 2.84 for a non-recurrent counterpart at matched parameter and data budget. Our results demonstrate that adaptive depth reuse is a principled strategy for trading parameters for quality: at large scale, 63% fewer parameters and 59% less peak decoding memory for a 10% increase in compiled generation latency.