モジュラーTTT：テスト時訓練を構成可能なモジュールとして再考する

要旨

テスト時訓練（TTT）は、系列モデリングをオンライン学習問題とみなす手法であり、内部学習則によって高速重みが更新される。TTTの変種は増え続けているものの、既存のアプローチは通常、各変種を個別にハードコードしており、新しいTTT手法の設計や各構成要素の役割の切り分けを困難にしている。この問題に対処するため、我々はModular TTTを提案する。これは内部学習器を有向非巡回グラフとして表現し、高速重みネットワーク、損失関数、学習率、重み減衰、正規化を明示的な設計次元として公開するフレームワークである。Modular TTTは、プリミティブレベルのtrain-view forward、train-view backward、およびcausal query-viewルールを、高速重み状態遷移を含むグラフレベルの完全なTTT計算へと自動的に合成する。Modular TTTを用いて、我々はTTTの構成要素を体系的にアブレーションし、小さな学習率での初期化、重み減衰、単層非線形性が性能を向上させる一方、MSE損失と内積損失は同様の性能を示すことを見いだした。より深い高速重みネットワークと正規化は、過度に大きな活性化を引き起こすため性能を損なう傾向があり、残差接続とゲーティングは測定可能な利点をほとんどもたらさない。これらの知見に基づき、我々は最良の変種を410Mおよび1.45Bパラメータのモデルとして100Bトークンで学習し、Gated DeltaNetに匹敵する訓練損失とベンチマーク性能を観測した。

English

Test-time training (TTT) views sequence modeling as an online learning problem in which fast weights are updated by an internal learning rule. Despite the growing number of TTT variants, existing approaches typically hard-code each variant separately, which makes it difficult to design new TTT methods and to isolate the role of each component. To address this, we propose Modular TTT, a framework that represents the inner learner as a directed acyclic graph and exposes the fast-weight network, loss function, learning rate, weight decay, and normalization as explicit design dimensions. Modular TTT automatically composes primitive-level train-view forward, train-view backward, and causal query-view rules into the full graph-level TTT computation, including the fast-weight state transition. Using Modular TTT, we systematically ablate the components of TTT and find that small learning-rate initialization, weight decay, and a single-layer nonlinearity improve performance, while MSE and inner-product losses perform similarly. Deeper fast-weight networks and normalization tend to hurt performance because they induce excessively large activations, while residual connections and gating provide little measurable benefit. Guided by these findings, we train the best resulting variant as 410M- and 1.45B-parameter models on 100B tokens, and observe training loss and benchmark performance comparable to Gated DeltaNet.