지속 학습을 위한 고속 가중치 어텐션

초록

순환 고속 가중치 메모리와 선택적 상태-공간 모델은 확장되는 맥락을 고정 크기의 순환 상태로 압축하며, 상태 전이를 온라인 학습 규칙으로 만든다. 우리는 이 규칙을 쓰기-후-읽기 자기회귀 의미론 하에서 연구한다. 여기서 고려하는 프리픽스 예측 목적 함수에서, 단계 t에 드러나는 로컬 고속 메모리 예제는 프리픽스 정렬 쌍 (x_t, y_t) = (ϕ(k_{t-1}), v_t)이다. 일반적인 동일 단계 연관 (ϕ(k_t), v_t)은 여전히 인과적이지만, 다른 내부 목적 함수를 최적화한다. 우리는 제곱 오차 회귀와 음의 내적 목적 함수에 대한 정규화된 1차 업데이트를 유도한다. 회귀 패밀리는 Falcon-1(스칼라 NLMS 업데이트), Falcon-2(이에 대한 열별 확장), Falcon-3(슬라이딩 윈도우 미니배치 업데이트)로 구성되며, Falcon-1A/Falcon-2A/Falcon-3A는 대응하는 내적 변형이다. 우리는 순환형, 마스크-병렬형, 청크-병렬형 형태를 제공하고, 수치적으로 안정적인 양의 감쇠 재정규화를 함께 제시한다. 대표적인 변형들은 언어 모델링에서 경쟁력을 유지하며, 가변 자릿수 덧셈에서 길이 외삽을 개선한다. 이 프레임워크는 순환 시퀀스 모델에서 시간적 정렬, 가소성, 망각, 그리고 제한된 리허설을 분리한다.

English

Recurrent fast-weight memories and selective state-space models compress an expanding context into a fixed-size recurrent state, making the state transition an online learning rule. We study this rule under read-after-write autoregressive semantics. For the prefix-prediction objective considered here, the local fast-memory example revealed at step t is the prefix-aligned pair (x_t,y_t)=(ϕ(k_{t-1}),v_t). The common same-step association (ϕ(k_t),v_t) remains causal, but optimizes a different internal objective. We derive normalized first-order updates for squared-error regression and negative inner-product objectives. The regression family comprises Falcon-1 (a scalar NLMS update), Falcon-2 (its per-column extension), and Falcon-3 (a sliding-window mini-batch update); Falcon-1A/Falcon-2A/Falcon-3A are the corresponding inner-product variants. We provide recurrent, masked-parallel, and chunk-parallel forms, together with numerically stable positive-decay renormalization. Representative variants remain competitive in language modeling and improve length extrapolation on variable-digit addition. This framework separates temporal alignment, plasticity, forgetting, and bounded rehearsal in recurrent sequence models.