DVAO: マルチ報酬強化学習のための動的分散適応型アドバンテージ最適化

要旨

強化学習は、大規模言語モデルを人間の意図やタスク要件に適合させるための標準的なパラダイムとなっています。グループ相対方策最適化は、近接方策最適化に代わる効率的で価値モデルを必要としない手法を提供しますが、実際の複数報酬設定への適応は依然として困難です。標準的なスカラー化手法（報酬結合方式やアドバンテージ結合方式など）には重大な欠点があります。報酬結合方式は、訓練不安定性を引き起こすほど過大な二乗の大きさを持つアドバンテージを頻繁に生成する一方、アドバンテージ結合方式は静的なハイパーパラメータに依存し、目的間の相関を無視します。これらの制約に対処するため、我々は動的分散適応アドバンテージ最適化（DVAO）を提案します。これは、ロールアウトグループ内の各目的の経験的報酬分散に基づいて結合重みを動的に調整し、学習信号の強い目的の重みを効果的に増加させ、ノイズの多い目的を抑制します。DVAOが安定した訓練のために有界なアドバンテージの大きさを維持し、自己適応的な目的間正則化メカニズムを導入することを数学的に証明します。Qwen3およびQwen2.5モデルを用いた数学的推論とツール使用のベンチマークにおける広範な実験により、DVAOがベースライン手法を大幅に上回り、優れた多目的パレートフロンティアと頑健な訓練安定性を達成することを示します。

English

Reinforcement Learning has become a standard paradigm for aligning Large Language Models with human intent and task requirements. While Group Relative Policy Optimization offers an efficient, value-model-free alternative to Proximal Policy Optimization, adapting it to real-world multi-reward settings remains challenging. Standard scalarization practices, such as Reward Combination and Advantage Combination, suffer from significant drawbacks: Reward Combination frequently generates advantages with excessively large squared magnitudes that lead to training instability, while Advantage Combination relies on static hyperparameters and ignores cross-objective correlations. To address these limitations, we propose Dynamic Variance-adaptive Advantage Optimization (DVAO), which dynamically adjusts combination weights based on the empirical reward variance of each objective within a rollout group, effectively up-weighting objectives with a stronger learning signal while suppressing noisy ones. We mathematically prove that DVAO maintains bounded advantage magnitudes for stable training and introduces a self-adaptive cross-objective regularization mechanism. Extensive experiments on mathematical reasoning and tool-use benchmarks using Qwen3 and Qwen2.5 models demonstrate that DVAO significantly outperforms baseline methods, achieving a superior multi-objective Pareto frontier and robust training stability.