Reinforcement Learning verfijnt kleine subnetwerken in grote taalmodel- len.

Reinforcement Learning Finetunes Small Subnetworks in Large Language Models

May 16, 2025

Auteurs: Sagnik Mukherjee, Lifan Yuan, Dilek Hakkani-Tur, Hao Peng

cs.AI

Samenvatting

Reinforcement learning (RL) levert aanzienlijke verbeteringen op in de prestaties van grote taalmodelen (LLMs) voor downstream taken en in de afstemming met menselijke waarden. Verrassend genoeg ontstaan dergelijke grote vooruitgangen door het bijwerken van slechts een klein subnetwerk dat slechts 5 tot 30 procent van de parameters omvat, terwijl de rest effectief ongewijzigd blijft. We verwijzen naar dit fenomeen als parameter-update-sparsity veroorzaakt door RL. Dit wordt waargenomen bij alle 7 veelgebruikte RL-algoritmen (bijv. PPO, GRPO, DPO) en alle 10 LLMs uit verschillende families in onze experimenten. Deze sparsity is intrinsiek en treedt op zonder expliciete regularisaties of architecturale beperkingen die sparsity bevorderen. Het finetunen van alleen het subnetwerk herstelt de testnauwkeurigheid en levert, opmerkelijk genoeg, een model op dat bijna identiek is aan het model dat wordt verkregen via volledig finetunen. De subnetwerken van verschillende random seeds, trainingsdata en zelfs RL-algoritmen vertonen aanzienlijk meer overlap dan op basis van toeval verwacht zou worden. Onze analyse suggereert dat deze sparsity niet het gevolg is van het bijwerken van slechts een subset van lagen, maar dat bijna alle parameter-matrices op een vergelijkbare manier spaarse updates ontvangen. Bovendien zijn de updates voor bijna alle parameter-matrices bijna full-rank, wat suggereert dat RL een kleine subset van parameters bijwerkt die desondanks bijna de volledige deelruimtes beslaan die de parameter-matrices kunnen representeren. We vermoeden dat deze update-sparsity voornamelijk kan worden toegeschreven aan het trainen op data die dicht bij de beleidsverdeling ligt, en dat technieken die het beleid stimuleren om dicht bij het voorgetrainde model te blijven, zoals KL-regularisatie en gradient clipping, slechts een beperkte impact hebben.

English

Reinforcement learning (RL) yields substantial improvements in large language models (LLMs) downstream task performance and alignment with human values. Surprisingly, such large gains result from updating only a small subnetwork comprising just 5 percent to 30 percent of the parameters, with the rest effectively unchanged. We refer to this phenomenon as parameter update sparsity induced by RL. It is observed across all 7 widely used RL algorithms (e.g., PPO, GRPO, DPO) and all 10 LLMs from different families in our experiments. This sparsity is intrinsic and occurs without any explicit sparsity promoting regularizations or architectural constraints. Finetuning the subnetwork alone recovers the test accuracy, and, remarkably, produces a model nearly identical to the one obtained via full finetuning. The subnetworks from different random seeds, training data, and even RL algorithms show substantially greater overlap than expected by chance. Our analysis suggests that this sparsity is not due to updating only a subset of layers, instead, nearly all parameter matrices receive similarly sparse updates. Moreover, the updates to almost all parameter matrices are nearly full-rank, suggesting RL updates a small subset of parameters that nevertheless span almost the full subspaces that the parameter matrices can represent. We conjecture that the this update sparsity can be primarily attributed to training on data that is near the policy distribution, techniques that encourage the policy to remain close to the pretrained model, such as the KL regularization and gradient clipping, have limited impact.