강화 학습은 대규모 언어 모델 내의 작은 서브네트워크를 미세 조정합니다

Reinforcement Learning Finetunes Small Subnetworks in Large Language Models

May 16, 2025

저자: Sagnik Mukherjee, Lifan Yuan, Dilek Hakkani-Tur, Hao Peng

cs.AI

초록

강화 학습(Reinforcement Learning, RL)은 대규모 언어 모델(Large Language Models, LLMs)의 다운스트림 작업 성능과 인간 가치와의 정렬에서 상당한 개선을 가져옵니다. 놀랍게도, 이러한 큰 성과는 전체 파라미터 중 단지 5%에서 30%에 해당하는 작은 서브네트워크만 업데이트함으로써 달성되며, 나머지 파라미터는 사실상 변경되지 않습니다. 우리는 이러한 현상을 RL에 의해 유도된 파라미터 업데이트 희소성(parameter update sparsity)이라고 부릅니다. 이 현상은 우리 실험에서 사용된 7가지의 널리 알려진 RL 알고리즘(예: PPO, GRPO, DPO)과 10가지의 서로 다른 계열의 LLM 모두에서 관찰되었습니다. 이 희소성은 본질적이며, 명시적인 희소성 촉진 정규화나 아키텍처 제약 없이 발생합니다. 서브네트워크만 미세 조정(finetuning)해도 테스트 정확도가 회복되며, 놀랍게도 전체 미세 조정을 통해 얻은 모델과 거의 동일한 모델이 생성됩니다. 서로 다른 랜덤 시드, 훈련 데이터, 심지어 RL 알고리즘에서 얻은 서브네트워크는 우연에 의한 것보다 훨씬 더 큰 중첩을 보입니다. 우리의 분석에 따르면, 이 희소성은 특정 계층만 업데이트하기 때문이 아니라, 거의 모든 파라미터 행렬이 유사한 희소 업데이트를 받기 때문입니다. 더욱이, 거의 모든 파라미터 행렬에 대한 업데이트는 거의 완전한 랭크(full-rank)를 가지며, 이는 RL이 파라미터 행렬이 표현할 수 있는 거의 전체 부분공간을 아우르는 작은 파라미터 집합을 업데이트함을 시사합니다. 우리는 이러한 업데이트 희소성이 주로 정책 분포(policy distribution)에 가까운 데이터에 대한 훈련에 기인한다고 추측하며, KL 정규화(KL regularization)와 그래디언트 클리핑(gradient clipping)과 같이 사전 훈련된 모델에 가까운 정책을 유도하는 기법의 영향은 제한적이라고 판단합니다.

English

Reinforcement learning (RL) yields substantial improvements in large language models (LLMs) downstream task performance and alignment with human values. Surprisingly, such large gains result from updating only a small subnetwork comprising just 5 percent to 30 percent of the parameters, with the rest effectively unchanged. We refer to this phenomenon as parameter update sparsity induced by RL. It is observed across all 7 widely used RL algorithms (e.g., PPO, GRPO, DPO) and all 10 LLMs from different families in our experiments. This sparsity is intrinsic and occurs without any explicit sparsity promoting regularizations or architectural constraints. Finetuning the subnetwork alone recovers the test accuracy, and, remarkably, produces a model nearly identical to the one obtained via full finetuning. The subnetworks from different random seeds, training data, and even RL algorithms show substantially greater overlap than expected by chance. Our analysis suggests that this sparsity is not due to updating only a subset of layers, instead, nearly all parameter matrices receive similarly sparse updates. Moreover, the updates to almost all parameter matrices are nearly full-rank, suggesting RL updates a small subset of parameters that nevertheless span almost the full subspaces that the parameter matrices can represent. We conjecture that the this update sparsity can be primarily attributed to training on data that is near the policy distribution, techniques that encourage the policy to remain close to the pretrained model, such as the KL regularization and gradient clipping, have limited impact.