習得済みではなく未習得を学ぶ：マルチ報酬方策最適化のための飽和を考慮したアドバンテージ再重み付け

要旨

グループ相対アドバンテージを用いた強化学習（RL）は、言語モデル推論器のポストトレーニングにおける事実上の標準となっている。しかし、複数の報酬目的を最適化する場合、既存手法は通常、報酬ベクトルをグループごとの標準化の前に固定重み付き和でスカラー化する。我々は、この設計が2つの根本的な問題を引き起こすことを示す。すなわち、異なる報酬プロファイルを持つロールアウトが同一のアドバンテージを受け取る可能性があり、また、すべての目的がその現在の飽和度に関係なく固定された相対重みで最適化される。その結果、トレーニングは、より大きな残りの改善余地を持つ目的に焦点を当てるのではなく、すでに解決された目的に勾配予算を割り当て続けることになる。我々は、マルチ報酬ポリシー最適化のための飽和認識アドバンテージ再重み付け（SA-MRPO）を導入する。これは、各報酬目的を独立に標準化し、目的の飽和度のバッチレベル推定に応じてその寄与を適応的に割り引くものである。これにより、最適化の労力を最適化が不十分な目的に動的に再配分し、既に十分に満たされている目的のパフォーマンスを経験的に維持する。さらに、飽和認識再重み付けが、更新の大きさを単に再スケーリングするだけでなく、その符号を反転させ得ることを示す。2目的および3目的の報酬組み合わせを用いた数学的推論において、SA-MRPOは15回のベンチマーク比較のうち12回で、より困難な正解率目的をGDPOよりも改善し、AIME24では最大5%の向上を達成した。適応的推論では、5つのベンチマークすべてで精度を改善し、平均3.8%、AMC23では最大9.2%の向上を示した。コーディングベンチマークでは合格率を最大2.3%改善し、すべての設定でより容易な目的を既に満たされた水準付近に維持した。

English

Reinforcement learning (RL) with group-relative advantages has become the de facto standard for post-training language model reasoners. However, when optimizing multiple reward objectives, existing methods typically scalarize the reward vector with a fixed weighted sum before group-wise standardization. We show that this design leads to two fundamental problems: rollouts with distinct reward profiles can receive identical advantages, and all objectives are optimized with fixed relative weights regardless of their current level of saturation. As a result, training continues to allocate gradient budget to already-solved objectives instead of focusing on those with greater remaining headroom. We introduce Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization (SA-MRPO), which standardizes each reward objective independently and adaptively discounts its contribution according to a batch-level estimate of objective saturation. This dynamically reallocates optimization effort toward under-optimized objectives while empirically maintaining performance on those that are already well satisfied. We further show that saturation-aware reweighting can reverse the sign of an update, rather than merely rescale its magnitude. Across mathematical reasoning with two- and three-objective reward combinations, SA-MRPO improves the harder correctness objective over GDPO in 12 of 15 benchmark comparisons, with gains of up to 5% on AIME24. On adaptive reasoning it improves accuracy on all five benchmarks, by 3.8% on average and up to 9.2 % on AMC23, and on coding benchmarks it improves pass rate by up to 2.3%, while in all settings maintaining the easier objectives near their already satisfied levels.