グループ適応的クリッピング方策最適化

要旨

検証可能な報酬を用いた強化学習（RLVR）に対するグループ相対方策最適化（GRPO）は、通常、すべてのロールアウトにわたって固定された重要度サンプリング（IS）比クリッピング境界を用いる。我々は重要な限界を同定する：困難な問題における稀な正解ロールアウトと、容易な問題における豊富な正解ロールアウトは、非常に異なる学習信号に寄与するにもかかわらず、同程度の割合でクリッピングされる。グループ成功率が低いロールアウトはより大きなIS比を示し、探索や新規問題の解決に対するより強い勾配信号を持つが、固定クリッピングにより不釣り合いに抑制される。この問題に対処するため、我々はグループ適応型クリッピング方策最適化（GAPO）を提案する。GAPOは、クリッピング境界をロールアウトのアドバンテージに適応させるGRPO手法へのプラグイン型修正である。GAPOは逆KL信頼領域の観点に動機づけられており、より大きな学習信号を持つロールアウトは比例してより大きな更新余地を受けるべきであることを示唆する。GAPOは報酬整形を必要とせず、クリッピングしきい値のみを適応させつつ、標準のPPO/GSPOサロゲートを維持する。QwenおよびLlamaモデルにわたり、GAPOは、ベースモデルの合格率が比較的低い数学推論およびコーディングベンチマークにおいて、固定クリッピングおよびアドバンテージ整形のベースラインを上回り、Pass@1とPass@kの両方を一貫して改善する。

English

Group relative policy optimization for reinforcement learning with verifiable rewards (RLVR) typically uses a fixed importance-sampling (IS) ratio clipping boundary across all rollouts. We identify a key limitation: rare correct rollouts on harder problems and abundant correct rollouts on easier problems are clipped at comparable rates, despite contributing very different learning signals. Rollouts with low group success exhibit larger IS ratios and carry stronger gradient signal for exploration and solving new problems, yet are disproportionately suppressed by fixed clipping. To address this, we propose Group Adaptive Clipping Policy Optimization (GAPO), a plug-in modification to GRPO methods that adapts the clipping boundary to the rollout advantage. GAPO is motivated by a reverse-KL trust-region perspective, which suggests that rollouts with larger learning signal should receive proportionally greater update headroom. GAPO requires no reward shaping and preserves the standard PPO/GSPO surrogate while adapting only the clipping threshold. Across Qwen and Llama models, GAPO consistently improves both Pass@1 and Pass@k over fixed clipping and advantage-shaping baselines on math reasoning and coding benchmarks where the pass rates by the base model are relatively low.