상태-예측 분리 가설

초록

트랜스포머는 동일한 순방향 계산 스트림을 사용하여 다음 토큰을 예측하고 미래 토큰 예측을 위한 유용한 상태를 저장한다. 우리는 상태-예측 분리 가설을 제안한다: 두 역할을 분리하면 더 나은 언어 모델링 성능을 얻을 수 있다. 우리는 두 기능을 분리하기 위해 두 개의 계산 스트림을 사용하는 트랜스포머 변형을 설계하고, 다양한 규모에 걸쳐 사전 학습 실험을 수행한다. 실험 결과, 상태-예측 분리는 일관되게 더 나은 데이터 및 계산 효율성을 제공하며, 검증 손실을 개선하고 하위 작업에서 평균 2~3퍼센트 포인트 더 나은 성능을 보인다. 또한 잠재적 혼란 변수를 배제하고 우리 설계에서 발생하는 기울기의 근본적 차이를 입증하는 광범위한 실증 분석을 수행한다.

English

Transformers use the same forward computation stream to both predict the next token and store useful state for future token predictions. We formulate the state-prediction separation hypothesis: disentangling the two roles yields better language modeling performance. We design a Transformer variant that uses two computation streams to separate the two functions, and conduct pretraining experiments across various scales. Our experiments show that state-prediction separation consistently offers better data and compute efficiencies, improving validation loss and outperforming standard Transformers by 2--3 percentage points on average on downstream tasks. We also conduct extensive empirical analysis that rules out potential confounders and demonstrates the fundamental difference in the gradients our design entails.