小規模言語モデルエージェントのためのロバスト強化学習に向けて

要旨

強化学習を用いた70M～500Mパラメータ範囲のSmall Language Models (SLMs)のアライメントは、しばしば不安定であると考えられているが、その根本的な失敗メカニズムは体系的に調査されていない。最先端(SOTA)研究では、15の(モデル, コーパス)構成がProximal Policy Optimization (PPO)を用いて訓練された。実験には、TinyStories、CNN/DailyMail、およびWikitext-103コーパス上のPythia-70M、160M、410M、SmolLM2-135M、360Mが含まれていた。小規模言語モデルにおいて、三つの再現可能な障害モードが特定された：標準的なPEFT/TRLパイプラインにおけるサイレントLoRAパラメータの凍結、bfloat16使用時の重要度比における数値オーバーフロー、および報酬モデルエラーによる壊滅的な方策崩壊である。これらの問題は、マージ・再初期化アダプター手法、PPO更新時のfloat32精度、および報酬ホワイトニング、重要度比ガード、ウェイトロールバックからなる三層安全機構を用いて対処された。本論文では、キャパシティ・ヘッドルーム仮説を提案する。この仮説は、SLMスケールにおけるPPOの性能は、モデルパラメータ数ではなく、流暢な教師ありモデル(PPL<20)と識別可能な報酬信号の両方に依存することを述べる。提案システムは全ての実験で安定して収束し、流暢な事前分布と情報豊富な報酬信号を持つ構成において、SFTベースラインに対する嗜好勝率を向上させた。さらに、訓練データを大幅に少なくしながら、インストラクションチューニングされたベースラインを上回った。全てのチェックポイント、嗜好データセット、および訓練スクリプトは公開されている^§。

English

The alignment of Small Language Models (SLMs) in the 70--500M parameter range using reinforcement learning is often considered unstable, though the underlying failure mechanisms have not been systematically investigated. In the State-of-the-Art (SOTA) research, fifteen (model, corpus) configurations were trained using Proximal Policy Optimization (PPO). The experiments included Pythia-70M, 160M, 410M and SmolLM2-135M, 360M on the TinyStories, CNN/DailyMail, and Wikitext-103 corpora. Three reproducible failure modes were identified in small-scale language models: silent LoRA parameter freezing in standard PEFT/TRL pipelines, numerical overflow in importance ratios when using bfloat16, and catastrophic policy collapse due to reward-model error. These issues were addressed using a merge-and-reinitialize adapter technique, float32 precision during PPO updates, and a three-layer safety mechanism comprising reward whitening, importance-ratio guarding, and weight rollback. In this paper, a capacity-headroom hypothesis is proposed, which states that PPO performance at the SLM scale depends on both a fluent supervised model (PPL<20) and a discriminative reward signal, rather than on the number of model parameters. The proposed system converged stably in all experiments and improved preference win rate over the SFT baseline in configurations with a fluent prior and an informative reward signal. Furthermore, it outperformed instruction-tuned baselines while requiring significantly less training data. All checkpoints, preference datasets, and training scripts are publicly released^§.