Достаточно ли одного слоя? Обучение одного слоя трансформера может быть сопоставимо с полнопараметрическим обучением с подкреплением (RL).

Аннотация

Обучение с подкреплением (RL) стало ключевым компонентом пост-тренировочной адаптации больших языковых моделей (LLM), однако мало что известно о том, как распределяется RL-адаптация по слоям трансформера. Существующие подходы, как правило, обновляют все параметры модели равномерно, неявно предполагая, что каждый слой вносит аналогичный вклад в выигрыш, получаемый в ходе пост-тренировочного RL. В данной работе мы подвергаем сомнению это предположение путем систематического послойного изучения RL-обучения. Удивительно, но мы обнаружили, что обучение одного единственного слоя трансформера может восстановить большую часть выигрыша, достигнутого при полнопараметрическом RL-обучении, а в некоторых случаях даже превзойти его. Для количественной оценки этого явления мы вводим величину «вклад слоя», которая измеряет долю полного RL-улучшения, восстановленную при обучении изолированного слоя. На примере семи моделей, охватывающих два семейства (Qwen3, Qwen2.5), три RL-алгоритма (GRPO, GiGPO, Dr. GRPO) и несколько предметных областей, включая математические рассуждения, генерацию кода и принятие решений агентом, мы наблюдаем удивительно устойчивую закономерность: выигрыш от RL в высокой степени сконцентрирован в небольшом подмножестве, а во многих случаях и в одном единственном слое трансформера. Что еще более поразительно, последовательно проявляется одна и та же структурная закономерность: слои с высоким вкладом сосредоточены в середине стека трансформера, тогда как слои вблизи входного и выходного концов вносят существенно меньший вклад. Полученные ранжирования слоев остаются сильно коррелированными между наборами данных, задачами, семействами моделей и RL-алгоритмами.

English

Reinforcement learning (RL) has become a central component of post-training large language models (LLMs), yet little is understood about how RL adaptation is distributed across transformer layers. Existing approaches typically update all model parameters uniformly, implicitly assuming that every layer contributes similarly to the gains obtained during RL post-training. In this work, we challenge this assumption through a systematic layer-wise study of RL training. Surprisingly, we find that training a single transformer layer can recover most of the gains achieved by full-parameter RL training, and in some cases even surpass it. To quantify this phenomenon, we introduce the quantity layer contribution, which measures the fraction of full RL improvement recovered by training a layer in isolation. Across seven models spanning two model families (Qwen3, Qwen2.5), three RL algorithms (GRPO, GiGPO, Dr. GRPO), and multiple task domains including mathematical reasoning, code generation, and agentic decision-making, we observe a remarkably stable pattern: RL gains are highly concentrated in a small subset of, and in many cases even a single, transformer layers. More strikingly, the same structural pattern consistently emerges: high-contribution layers concentrate in the middle of the transformer stack, while layers near the input and output ends contribute substantially less. The resulting layer rankings remain strongly correlated across datasets, tasks, model families, and RL algorithms.