Maglev: 슬라이딩 순환 메모리

초록

우리는 학습 중 병렬화가 가능하면서 슬라이딩 윈도우 어텐션을 일반화하는 고정 크기 메모리를 가진 순환 트랜스포머 아키텍처인 ...을 소개한다. 이 아키텍처는 두 개의 결합된 모델, 즉 전체 어텐션을 활용하여 메모리 타깃 m'_t를 생성하는 프리필러 Q(실제로는 Q에 대해 전체 어텐션과 슬라이딩 윈도우 어텐션을 번갈아 사용하는데, 이는 더 강력한 성능을 내기 때문이다. 필수 요건은 Q가 P보다 더 표현력이 높아 전체 히스토리에 접근할 수 있어야 한다는 것이다)와, 슬라이딩 윈도우 어텐션과 순환 K/V 주입만을 사용하여 다음 토큰 예측을 위한 디코더 메모리 m_t를 생성하는 디코더 P로 구성된다. 우리는 m_t를 m'_t와 정렬시키는 메모리 일관성 손실로 ...을 훈련하며, 이를 통해 추론 시 P만 사용할 수 있게 된다. 경험적으로, ...은 슬라이딩 윈도우 및 잠재 순환 트랜스포머 기준 모델들에 비해 검증 손실과 다운스트림 사전학습 벤치마크를 개선한다. 또한, P와 Q 간의 파라미터 공유는 대부분의 성능 향상을 유지하면서 파라미터 메모리를 줄인다.

English

We introduce , a recurrent Transformer architecture with fixed-size memory that generalizes sliding-window attention while remaining parallelizable during training. consists of two coupled models: a prefiller Q, which leverages full attentionIn practice, we use interleaved full and sliding-window attention for Q, as this yields stronger performance. The essential requirement is that Q be more expressive than P, with access to the full history. to produce memory targets m'_t, and a decoder P, which uses only sliding-window attention and recurrent K/V injection to produce decoder memories m_t for next-token prediction. We train with a memory consistency loss that aligns m_t with m'_t, allowing inference to use P alone. Empirically, improves validation loss and downstream pretraining benchmarks over sliding-window and latent recurrent transformer baselines. Moreover, sharing parameters between P and Q reduces parameter memory while preserving most of the gains.