1層で十分か？単一Transformer層の訓練が全パラメータRL訓練に匹敵する

要旨

強化学習（RL）は大規模言語モデル（LLM）の事後訓練において中心的な役割を担うようになったが、RLによる適応がトランスフォーマー層全体にどのように分布するかについては、ほとんど理解されていない。既存のアプローチは通常、すべてのモデルパラメータを一律に更新し、RL事後訓練で得られる利得にすべての層が同程度に寄与していると暗に仮定している。本研究では、系統的な層別のRL訓練の分析を通じて、この仮定に疑問を投げかける。驚くべきことに、単一のトランスフォーマー層の訓練だけで、全パラメータRL訓練で達成される利得の大部分を回復でき、場合によってはそれを上回ることさえわかった。この現象を定量化するために、層を単独で訓練することで回復される全RL改善の割合を測定する「層貢献度」という指標を導入する。2つのモデルファミリー（Qwen3、Qwen2.5）にわたる7つのモデル、3つのRLアルゴリズム（GRPO、GiGPO、Dr. GRPO）、および数学的推論、コード生成、エージェント的な意思決定を含む複数のタスク領域において、驚くほど安定したパターンが観察される。すなわち、RLの利得は、ごく一部の、多くの場合は単一のトランスフォーマー層に高度に集中している。さらに顕著なのは、同じ構造的パターンが一貫して現れることである。貢献度の高い層はトランスフォーマースタックの中間部に集中し、入力側と出力側に近い層の貢献度は大幅に低い。得られた層の順位付けは、データセット、タスク、モデルファミリー、RLアルゴリズムを超えて強い相関を示す。

English

Reinforcement learning (RL) has become a central component of post-training large language models (LLMs), yet little is understood about how RL adaptation is distributed across transformer layers. Existing approaches typically update all model parameters uniformly, implicitly assuming that every layer contributes similarly to the gains obtained during RL post-training. In this work, we challenge this assumption through a systematic layer-wise study of RL training. Surprisingly, we find that training a single transformer layer can recover most of the gains achieved by full-parameter RL training, and in some cases even surpass it. To quantify this phenomenon, we introduce the quantity layer contribution, which measures the fraction of full RL improvement recovered by training a layer in isolation. Across seven models spanning two model families (Qwen3, Qwen2.5), three RL algorithms (GRPO, GiGPO, Dr. GRPO), and multiple task domains including mathematical reasoning, code generation, and agentic decision-making, we observe a remarkably stable pattern: RL gains are highly concentrated in a small subset of, and in many cases even a single, transformer layers. More strikingly, the same structural pattern consistently emerges: high-contribution layers concentrate in the middle of the transformer stack, while layers near the input and output ends contribute substantially less. The resulting layer rankings remain strongly correlated across datasets, tasks, model families, and RL algorithms.