소규모 언어 모델 에이전트를 위한 강건한 강화 학습을 위하여

초록

70~500M 매개변수 범위의 소형 언어 모델(SLM)을 강화 학습을 통해 정렬하는 것은 종종 불안정한 것으로 간주되지만, 근본적인 실패 메커니즘에 대한 체계적인 연구는 아직 이루어지지 않았다. 최신 연구(SOTA)에서는 PPO(Proximal Policy Optimization)를 사용하여 15개의 (모델, 말뭉치) 구성에 대해 훈련을 수행했다. 실험에는 TinyStories, CNN/DailyMail, Wikitext-103 말뭉치를 대상으로 한 Pythia-70M, 160M, 410M과 SmolLM2-135M, 360M이 포함되었다. 소형 언어 모델에서 세 가지 재현 가능한 실패 모드가 확인되었다: 표준 PEFT/TRL 파이프라인에서의 무음 LoRA 매개변수 동결, bfloat16 사용 시 중요도 비율의 수치 오버플로우, 그리고 보상 모델 오류로 인한 치명적인 정책 붕괴. 이러한 문제는 병합-재초기화 어댑터 기법, PPO 업데이트 시 float32 정밀도 사용, 그리고 보상 백색화, 중요도 비율 보호, 가중치 롤백으로 구성된 3계층 안전 메커니즘을 통해 해결되었다. 본 논문에서는 용량-헤드룸 가설을 제안하는데, 이는 SLM 규모에서의 PPO 성능이 모델 매개변수 수보다는 유창한 지도 모델(PPL<20)과 식별력 있는 보상 신호에 의존한다는 주장이다. 제안된 시스템은 모든 실험에서 안정적으로 수렴하였으며, 유창한 사전 정보와 정보성 있는 보상 신호를 갖춘 구성에서 SFT 기준선 대비 선호 승률을 향상시켰다. 또한, 지시 조정 기준선보다 우수한 성능을 보이면서도 훨씬 적은 훈련 데이터를 필요로 했다. 모든 체크포인트, 선호 데이터 세트 및 훈련 스크립트는 공개적으로 배포되었다^§.

English

The alignment of Small Language Models (SLMs) in the 70--500M parameter range using reinforcement learning is often considered unstable, though the underlying failure mechanisms have not been systematically investigated. In the State-of-the-Art (SOTA) research, fifteen (model, corpus) configurations were trained using Proximal Policy Optimization (PPO). The experiments included Pythia-70M, 160M, 410M and SmolLM2-135M, 360M on the TinyStories, CNN/DailyMail, and Wikitext-103 corpora. Three reproducible failure modes were identified in small-scale language models: silent LoRA parameter freezing in standard PEFT/TRL pipelines, numerical overflow in importance ratios when using bfloat16, and catastrophic policy collapse due to reward-model error. These issues were addressed using a merge-and-reinitialize adapter technique, float32 precision during PPO updates, and a three-layer safety mechanism comprising reward whitening, importance-ratio guarding, and weight rollback. In this paper, a capacity-headroom hypothesis is proposed, which states that PPO performance at the SLM scale depends on both a fluent supervised model (PPL<20) and a discriminative reward signal, rather than on the number of model parameters. The proposed system converged stably in all experiments and improved preference win rate over the SFT baseline in configurations with a fluent prior and an informative reward signal. Furthermore, it outperformed instruction-tuned baselines while requiring significantly less training data. All checkpoints, preference datasets, and training scripts are publicly released^§.