LLMポストトレーニングのための蒸留強化学習

要旨

大規模言語モデル（LLM）のポストトレーニングは、推論能力、適応性、アライメントを向上させるために不可欠である。既存の手法は主に、強化学習（RL）とオン方策蒸留（OPD）の2つのパラダイムに従う。しかし、RLは粗い粒度の結果に対する監督に依存するため、クレジットアサインメントが難しく、新たな知識を獲得する能力が限られている。一方、OPDはKLダイバージェンスを通じて教師モデルのロジットを無条件に一致させるため、ジレンマが生じる。類似した教師は新たな知識をほとんど提供せず、大きく異なる教師はしばしば効果的な指導をもたらさないため、OPDは主に同系統内の蒸留に制限される。我々は、教師の監督をRLの目的関数に統合し、粒度の細かい指導を提供するとともに、新たな知識を選択的に転移し、無条件な模倣を回避する、蒸留強化学習（Distilled RL）を提案する。Distilled RLは、クリッピング付き逆重要度サンプリング、負のサンプルのリセット、系列レベルの幾何的正規化の3つの要素から構成される。簡潔で解釈可能なケーススタディを通じて、Distilled RLが教師モデルから生徒モデルへ、これまで利用不可能だった知識を効果的に転移できることを示す。同系統内および異系統間の両方の蒸留設定における広範な実験により、Distilled RLは標準RLおよびOPDをpass@1とpass@kの両方で大幅に上回ることが示された。我々のコードは https://github.com/597358816/Distilled-RL で公開されている。

English

Large language model (LLM) post-training is essential for improving reasoning, adaptation, and alignment. Existing methods mainly follow two paradigms: reinforcement learning (RL) and on-policy distillation (OPD). However, RL relies on coarse-grained outcome supervision, resulting in difficult credit assignment and limited capability to acquire new knowledge. OPD, meanwhile, unconditionally matches teacher logits through KL divergence, which creates a dilemma: similar teachers provide little new knowledge, while substantially different teachers often yield ineffective guidance, largely restricting OPD to within-family distillation. We propose Distilled Reinforcement Learning (Distilled RL), which integrates teacher supervision into the RL objective to provide fine-grained guidance, selectively transfer new knowledge and avoid unconditional imitation. Distilled RL contains three components: reverse importance sampling with clipping, negative sample reset, and sequence-level geometric normalization. Through a concise and interpretable case study, we demonstrate that Distilled RL can effectively transfer previously unavailable knowledge from a teacher model to a student model. Extensive experiments across both within-family and cross-family distillation settings show that Distilled RL substantially outperforms standard RL and OPD in terms of both pass@1 and pass@k. Our code is available at https://github.com/597358816/Distilled-RL.