L'apprentissage par renforcement affine de petits sous-réseaux dans les grands modèles de langage.

Reinforcement Learning Finetunes Small Subnetworks in Large Language Models

May 16, 2025

Auteurs: Sagnik Mukherjee, Lifan Yuan, Dilek Hakkani-Tur, Hao Peng

cs.AI

Résumé

L'apprentissage par renforcement (RL) apporte des améliorations substantielles aux performances des grands modèles de langage (LLMs) sur les tâches en aval et à leur alignement avec les valeurs humaines. Étonnamment, ces gains importants résultent de la mise à jour d'un seul sous-réseau ne comprenant que 5 à 30 pour cent des paramètres, le reste restant pratiquement inchangé. Nous qualifions ce phénomène de parcimonie des mises à jour de paramètres induite par le RL. Ce phénomène est observé pour les 7 algorithmes de RL couramment utilisés (par exemple, PPO, GRPO, DPO) et pour les 10 LLMs de différentes familles dans nos expériences. Cette parcimonie est intrinsèque et se produit sans aucune régularisation explicite favorisant la parcimonie ni contrainte architecturale. Le réglage fin du sous-réseau seul permet de retrouver la précision en test et, de manière remarquable, produit un modèle presque identique à celui obtenu par un réglage fin complet. Les sous-réseaux issus de différentes initialisations aléatoires, de données d'entraînement différentes et même d'algorithmes de RL différents présentent un chevauchement nettement plus important que ce que le hasard pourrait expliquer. Notre analyse suggère que cette parcimonie n'est pas due à la mise à jour d'un seul sous-ensemble de couches, mais que presque toutes les matrices de paramètres reçoivent des mises à jour également parcimonieuses. De plus, les mises à jour de presque toutes les matrices de paramètres sont presque de plein rang, ce qui suggère que le RL met à jour un petit sous-ensemble de paramètres qui couvrent néanmoins presque tous les sous-espaces que les matrices de paramètres peuvent représenter. Nous conjecturons que cette parcimonie des mises à jour peut être principalement attribuée à l'entraînement sur des données proches de la distribution de la politique, et que les techniques encourageant la politique à rester proche du modèle pré-entraîné, comme la régularisation KL et l'écrêtage des gradients, ont un impact limité.

English

Reinforcement learning (RL) yields substantial improvements in large language models (LLMs) downstream task performance and alignment with human values. Surprisingly, such large gains result from updating only a small subnetwork comprising just 5 percent to 30 percent of the parameters, with the rest effectively unchanged. We refer to this phenomenon as parameter update sparsity induced by RL. It is observed across all 7 widely used RL algorithms (e.g., PPO, GRPO, DPO) and all 10 LLMs from different families in our experiments. This sparsity is intrinsic and occurs without any explicit sparsity promoting regularizations or architectural constraints. Finetuning the subnetwork alone recovers the test accuracy, and, remarkably, produces a model nearly identical to the one obtained via full finetuning. The subnetworks from different random seeds, training data, and even RL algorithms show substantially greater overlap than expected by chance. Our analysis suggests that this sparsity is not due to updating only a subset of layers, instead, nearly all parameter matrices receive similarly sparse updates. Moreover, the updates to almost all parameter matrices are nearly full-rank, suggesting RL updates a small subset of parameters that nevertheless span almost the full subspaces that the parameter matrices can represent. We conjecture that the this update sparsity can be primarily attributed to training on data that is near the policy distribution, techniques that encourage the policy to remain close to the pretrained model, such as the KL regularization and gradient clipping, have limited impact.