継続学習のための高速重みアテンション

要旨

リカレント高速重みメモリと選択的状態空間モデルは、拡大し続ける文脈を固定サイズのリカレント状態へと圧縮し、その状態遷移をオンライン学習則としている。本研究では、この学習則を、書き込み後読み出しの自己回帰セマンティクスの下で考察する。ここで対象とするプレフィックス予測目的関数において、ステップtで明らかになる局所的な高速メモリの例は、プレフィックスに整合するペア (x_t,y_t)=(ϕ(k_{t-1}),v_t) である。一般的な同ステップの関連付け (ϕ(k_t),v_t) は因果的ではあるが、異なる内部目的関数を最適化する。我々は、二乗誤差回帰と負の内積目的関数に対する正規化一次更新を導出する。回帰ファミリーは、Falcon-1（スカラーNLMS更新）、Falcon-2（その列ごとの拡張）、Falcon-3（スライディングウィンドウミニバッチ更新）から構成され、Falcon-1A/Falcon-2A/Falcon-3Aは対応する内積バリアントである。さらに、リカレント形式・マスク並列形式・チャンク並列形式を提供するとともに、数値的に安定な正減衰再正規化も示す。代表的なバリアントは言語モデリングにおいて競争力を維持し、可変桁数の加算における長さ外挿を改善する。この枠組みは、リカレント系列モデルにおける時間的整合、可塑性、忘却、有界リハーサルを分離する。

English

Recurrent fast-weight memories and selective state-space models compress an expanding context into a fixed-size recurrent state, making the state transition an online learning rule. We study this rule under read-after-write autoregressive semantics. For the prefix-prediction objective considered here, the local fast-memory example revealed at step t is the prefix-aligned pair (x_t,y_t)=(ϕ(k_{t-1}),v_t). The common same-step association (ϕ(k_t),v_t) remains causal, but optimizes a different internal objective. We derive normalized first-order updates for squared-error regression and negative inner-product objectives. The regression family comprises Falcon-1 (a scalar NLMS update), Falcon-2 (its per-column extension), and Falcon-3 (a sliding-window mini-batch update); Falcon-1A/Falcon-2A/Falcon-3A are the corresponding inner-product variants. We provide recurrent, masked-parallel, and chunk-parallel forms, together with numerically stable positive-decay renormalization. Representative variants remain competitive in language modeling and improve length extrapolation on variable-digit addition. This framework separates temporal alignment, plasticity, forgetting, and bounded rehearsal in recurrent sequence models.