Обучение с подкреплением тонко настраивает небольшие подсети в крупных языковых моделях.

Reinforcement Learning Finetunes Small Subnetworks in Large Language Models

May 16, 2025

Авторы: Sagnik Mukherjee, Lifan Yuan, Dilek Hakkani-Tur, Hao Peng

cs.AI

Аннотация

Обучение с подкреплением (RL) приводит к значительному улучшению производительности крупных языковых моделей (LLM) на последующих задачах и их соответствия человеческим ценностям. Удивительно, что такие большие улучшения достигаются за счет обновления лишь небольшой подсети, включающей всего от 5 до 30 процентов параметров, в то время как остальные остаются практически неизменными. Мы называем это явление разреженностью обновления параметров, вызванной RL. Оно наблюдается во всех 7 широко используемых алгоритмах RL (например, PPO, GRPO, DPO) и всех 10 LLM из разных семейств в наших экспериментах. Эта разреженность является внутренней и возникает без каких-либо явных регуляризаций, способствующих разреженности, или архитектурных ограничений. Тонкая настройка только подсети восстанавливает точность на тестовых данных и, что примечательно, создает модель, почти идентичную той, которая получена при полной тонкой настройке. Подсети, полученные с разных случайных начальных значений, обучающих данных и даже алгоритмов RL, демонстрируют значительно большее совпадение, чем можно было бы ожидать случайно. Наш анализ показывает, что эта разреженность не связана с обновлением только подмножества слоев; вместо этого почти все матрицы параметров получают аналогично разреженные обновления. Более того, обновления почти всех матриц параметров являются почти полного ранга, что указывает на то, что RL обновляет небольшое подмножество параметров, которые, тем не менее, охватывают почти все подпространства, которые могут представлять матрицы параметров. Мы предполагаем, что эта разреженность обновлений может быть в основном связана с обучением на данных, близких к распределению политики, а такие методы, как KL-регуляризация и ограничение градиентов, которые побуждают политику оставаться близкой к предварительно обученной модели, имеют ограниченное влияние.

English

Reinforcement learning (RL) yields substantial improvements in large language models (LLMs) downstream task performance and alignment with human values. Surprisingly, such large gains result from updating only a small subnetwork comprising just 5 percent to 30 percent of the parameters, with the rest effectively unchanged. We refer to this phenomenon as parameter update sparsity induced by RL. It is observed across all 7 widely used RL algorithms (e.g., PPO, GRPO, DPO) and all 10 LLMs from different families in our experiments. This sparsity is intrinsic and occurs without any explicit sparsity promoting regularizations or architectural constraints. Finetuning the subnetwork alone recovers the test accuracy, and, remarkably, produces a model nearly identical to the one obtained via full finetuning. The subnetworks from different random seeds, training data, and even RL algorithms show substantially greater overlap than expected by chance. Our analysis suggests that this sparsity is not due to updating only a subset of layers, instead, nearly all parameter matrices receive similarly sparse updates. Moreover, the updates to almost all parameter matrices are nearly full-rank, suggesting RL updates a small subset of parameters that nevertheless span almost the full subspaces that the parameter matrices can represent. We conjecture that the this update sparsity can be primarily attributed to training on data that is near the policy distribution, techniques that encourage the policy to remain close to the pretrained model, such as the KL regularization and gradient clipping, have limited impact.