ベストプラクティスクリティック最適化

要旨

大規模言語モデル向けのGRPOなどのグループベース強化学習手法は、プロンプトごとに複数の応答をサンプリングすることでクリティックの訓練を回避する。一方、信頼できるクリティックは、その代わりに1つの応答からトークンレベルのアドバンテージを推定できるが、標準的なクリティックベースの訓練レシピはしばしば不安定である。我々はこの不安定性を研究し、DPPO、報酬範囲に制限された価値予測、モンテカルロ価値目標、非正規化方策アドバンテージ、および長さ適応型一般化アドバンテージ推定を組み合わせたレシピであるBPCO（Best Practice Critic Optimization）を開発する。クリティックは訓練中のみ使用されるため、BPCOはクリティックを、参照解答や採点ルーブリックなど、方策からは隠された報酬定義情報に条件付けることもできる。制御実験により、各設計選択の効果を切り分ける。1.5Bパラメータから30B-A3B混合エキスパートまでのモデルを用いた数学的推論タスクにおいて、BPCOは強力なクリティックベースのベースラインを一貫して改善し、プロンプトあたり1つの応答をサンプリングしながら、グループベースのベースラインに匹敵するかそれを上回る。同じレシピは、ルーブリックに基づく報酬を用いた学習も改善する。これらの結果は、注意深く設計されたクリティックが、グループ相対アドバンテージ推定に代わる信頼できる手段を提供することを示している。コードは https://github.com/QPHutu/golden_critic で入手できる。

English

Group-based reinforcement learning methods such as GRPO for large language models avoid training a critic by sampling multiple responses for each prompt. A reliable critic could instead estimate token-level advantages from one response, but standard critic-based training recipes are often unstable. We study this instability and develop **Best Practice Critic Optimization (BPCO)**, a recipe that combines DPPO, value predictions bounded to the reward range, Monte Carlo value targets, unnormalized policy advantages, and length-adaptive generalized advantage estimation. Because the critic is used only during training, BPCO can also condition it on reward-defining information, such as a reference answer or grading rubric, that is hidden from the policy. Controlled experiments isolate the effect of each design choice. Across mathematical reasoning tasks with models ranging from 1.5B parameters to 30B-A3B mixtures of experts, BPCO improves a strong critic-based baseline consistently, and matches or exceeds a group-based baseline while sampling one response per prompt. The same recipe also improves learning with rubric-based rewards. These results show that a carefully designed critic provides a reliable alternative to group-relative advantage estimation. Code is available at https://github.com/QPHutu/golden_critic.