게이트 순환 트랜스포머: 순환 변조를 통한 표현적 깊이

초록

트랜스포머 언어 모델의 확장은 표현력과 메모리 효율성 사이에 본질적인 긴장 관계를 만들어 낸다. 층마다 고유한 가중치는 입력 처리에서 추상적 정교화에 이르는 기능적 전문화를 보존하지만, 상당한 메모리 공간을 요구한다. 반대로, 표준 심도 공유는 균일한 변환을 강제하여 표현 다양성을 붕괴시키고 모델링 품질을 저하시킨다. 본 논문에서는 고정 깊이의 도입부(prelude) 및 종결부(coda) 블록이 R회 반복되는 단일 공유 핵심부를 감싸는 순환 심도 트랜스포머인 Gated Recurrent Transformer를 제안한다. 게이티드 순환 신경망에서 영감을 얻어, 은닉 상태, 고정 도입부 출력, 그리고 각 단계마다 재샘플링되는 노이즈에 조건화된 경량 투영과 요소별 업데이트 게이트를 통해 순환 업데이트를 변조한다. 이를 통해 기능적 다양성을 확보하기 위해 많은 고유 층을 요구하는 대신, 모델이 반복 전반에 걸쳐 동일한 소수의 층에 입력을 특화할 수 있게 된다. isoFLOPS 제약 하에서 3층 Gated Recurrent Transformer는 유사한 학습 및 추론 FLOPs로 12층 GPT-2 Small 기준 모델과 동일한 정확도를 달성하며, 9개 규모×예산 셀 모두에서 MoR 및 헤비테일 심도 샘플링을 능가한다. 중간 및 대규모에서는 표준 토큰 예산에서 dense 모델의 품질에 근접하며, 예산이 두 배로 증가하면 중간 규모에서 dense 품질을 능가한다. isoPARAMS 제약 하에서는 더 깊은 순환이 동일한 파라미터 및 데이터 예산에서 비순환 대응 모델의 2.84 대비 2.76의 검증 손실을 달성한다. 이러한 결과는 적응형 심도 재사용이 파라미터를 품질로 교환하는 원칙적인 전략임을 입증한다. 대규모에서는 컴파일된 생성 지연 시간이 10% 증가하는 대신 파라미터를 63%, 최대 디코딩 메모리를 59% 절감한다.

English

Scaling transformer language models creates an inherent tension between expressivity and memory efficiency. While unique weights across layers preserve functional specialization---from input-grounding to abstract refinement---they incur a substantial memory footprint. Conversely, standard depth-sharing enforces uniform transformations that collapse representational diversity and degrade modeling quality. We introduce Gated Recurrent Transformer, a recurrent depth transformer where fixed-depth prelude and coda blocks bracket a single shared core iterated R times. Inspired by gated recurrent neural networks, we employ a lightweight projection and an elementwise update gate---conditioned on the hidden state, the fixed prelude output, and noise resampled at every step---to modulate the recurrent update. This allows the model to specialize the input to the same few layers across recurrences, rather than requiring many unique layers to achieve functional diversity. Under an isoFLOPS constraint, a 3-layer Gated Recurrent Transformer matches the accuracy of a 12-layer GPT-2 Small baseline with similar training and inference FLOPs, and leads MoR and heavy-tail depth sampling in all nine scale-by-budget cells; at medium and large scale it approaches dense quality at the standard token budget and overtakes it at medium scale once that budget is doubled. Under an isoPARAMS constraint, deeper recurrence achieves a 2.76 validation loss versus 2.84 for a non-recurrent counterpart at matched parameter and data budget. Our results demonstrate that adaptive depth reuse is a principled strategy for trading parameters for quality: at large scale, 63% fewer parameters and 59% less peak decoding memory for a 10% increase in compiled generation latency.