한 개의 층으로 충분한가? 단일 트랜스포머 층 학습이 전체 파라미터 RL 학습에 필적할 수 있다.

초록

강화학습(RL)은 대규모 언어 모델(LLM)의 사후 훈련(post-training)에서 핵심적인 구성 요소가 되었지만, RL 적응이 트랜스포머 계층 간에 어떻게 분포하는지는 거의 알려져 있지 않다. 기존 접근법은 일반적으로 모든 모델 매개변수를 균일하게 업데이트하며, 각 계층이 RL 사후 훈련에서 얻은 성능 향상에 유사하게 기여한다고 암묵적으로 가정한다. 본 연구에서는 이러한 가정에 도전하여, 체계적인 트랜스포머 계층별 RL 훈련 연구를 수행한다. 놀랍게도, 단일 트랜스포머 계층만 훈련하더라도 전체 매개변수 RL 훈련으로 달성된 성능 향상의 대부분을 회복할 수 있으며, 경우에 따라서는 이를 능가하기도 한다. 이러한 현상을 정량화하기 위해, 우리는 계층 기여도(layer contribution)라는 지표를 도입한다. 이는 단일 계층을 독립적으로 훈련했을 때 회복된 전체 RL 성능 향상의 비율을 측정한다. 두 모델 계열(Qwen3, Qwen2.5), 세 가지 RL 알고리즘(GRPO, GiGPO, Dr. GRPO), 그리고 수학적 추론, 코드 생성, 에이전트 기반 의사 결정을 포함한 여러 작업 영역에 걸쳐 일곱 가지 모델을 실험한 결과, 놀랍도록 안정적인 패턴이 관찰되었다. RL 성능 향상은 소수의 트랜스포머 계층, 많은 경우 단일 계층에 매우 집중되어 있다. 더욱 놀라운 점은, 높은 기여도를 보이는 계층이 트랜스포머 스택의 중간 부분에 집중되고, 입력 및 출력 부분에 가까운 계층은 기여도가 현저히 낮다는 동일한 구조적 패턴이 일관되게 나타난다는 것이다. 이러한 계층 순위는 데이터셋, 작업, 모델 계열, RL 알고리즘에 걸쳐 강한 상관관계를 유지한다.

English

Reinforcement learning (RL) has become a central component of post-training large language models (LLMs), yet little is understood about how RL adaptation is distributed across transformer layers. Existing approaches typically update all model parameters uniformly, implicitly assuming that every layer contributes similarly to the gains obtained during RL post-training. In this work, we challenge this assumption through a systematic layer-wise study of RL training. Surprisingly, we find that training a single transformer layer can recover most of the gains achieved by full-parameter RL training, and in some cases even surpass it. To quantify this phenomenon, we introduce the quantity layer contribution, which measures the fraction of full RL improvement recovered by training a layer in isolation. Across seven models spanning two model families (Qwen3, Qwen2.5), three RL algorithms (GRPO, GiGPO, Dr. GRPO), and multiple task domains including mathematical reasoning, code generation, and agentic decision-making, we observe a remarkably stable pattern: RL gains are highly concentrated in a small subset of, and in many cases even a single, transformer layers. More strikingly, the same structural pattern consistently emerges: high-contribution layers concentrate in the middle of the transformer stack, while layers near the input and output ends contribute substantially less. The resulting layer rankings remain strongly correlated across datasets, tasks, model families, and RL algorithms.