Reicht eine Schicht aus? Das Training einer einzelnen Transformer-Schicht kann mit vollparametrischem RL-Training mithalten.

Zusammenfassung

Verstärkungslernen (Reinforcement Learning, RL) ist zu einer zentralen Komponente des Nachtrainings großer Sprachmodelle (Large Language Models, LLMs) geworden, dennoch ist wenig darüber bekannt, wie die RL-Adaption über die Transformer-Schichten verteilt ist. Bisherige Ansätze aktualisieren typischerweise alle Modellparameter einheitlich und gehen dabei implizit davon aus, dass jede Schicht in ähnlichem Maße zu den Verbesserungen beiträgt, die während des RL-Nachtrainings erzielt werden. In dieser Arbeit stellen wir diese Annahme durch eine systematische schichtweise Untersuchung des RL-Trainings infrage. Überraschenderweise stellen wir fest, dass das Training einer einzelnen Transformer-Schicht die meisten der durch vollparametrisches RL-Training erzielten Verbesserungen wiederherstellen und in manchen Fällen sogar übertreffen kann. Um dieses Phänomen zu quantifizieren, führen wir die Größe des Schichtbeitrags ein, die den Anteil der vollständigen RL-Verbesserung misst, der durch das Training einer isolierten Schicht wiederhergestellt wird. Über sieben Modelle aus zwei Modellfamilien (Qwen3, Qwen2.5), drei RL-Algorithmen (GRPO, GiGPO, Dr. GRPO) und mehrere Aufgabenbereiche, darunter mathematisches Denken, Codegenerierung und agentische Entscheidungsfindung, hinweg beobachten wir ein bemerkenswert stabiles Muster: Die RL-Verbesserungen konzentrieren sich stark auf eine kleine Teilmenge, in vielen Fällen sogar auf eine einzige, der Transformer-Schichten. Noch auffälliger ist, dass sich dasselbe strukturelle Muster durchgängig zeigt: Schichten mit hohem Beitrag konzentrieren sich in der Mitte des Transformer-Stapels, während Schichten nahe dem Eingabe- und Ausgabeende erheblich weniger beitragen. Die resultierenden Schicht-Rangfolgen bleiben über Datensätze, Aufgaben, Modellfamilien und RL-Algorithmen hinweg stark korreliert.

English

Reinforcement learning (RL) has become a central component of post-training large language models (LLMs), yet little is understood about how RL adaptation is distributed across transformer layers. Existing approaches typically update all model parameters uniformly, implicitly assuming that every layer contributes similarly to the gains obtained during RL post-training. In this work, we challenge this assumption through a systematic layer-wise study of RL training. Surprisingly, we find that training a single transformer layer can recover most of the gains achieved by full-parameter RL training, and in some cases even surpass it. To quantify this phenomenon, we introduce the quantity layer contribution, which measures the fraction of full RL improvement recovered by training a layer in isolation. Across seven models spanning two model families (Qwen3, Qwen2.5), three RL algorithms (GRPO, GiGPO, Dr. GRPO), and multiple task domains including mathematical reasoning, code generation, and agentic decision-making, we observe a remarkably stable pattern: RL gains are highly concentrated in a small subset of, and in many cases even a single, transformer layers. More strikingly, the same structural pattern consistently emerges: high-contribution layers concentrate in the middle of the transformer stack, while layers near the input and output ends contribute substantially less. The resulting layer rankings remain strongly correlated across datasets, tasks, model families, and RL algorithms.