FlowBalance: 検証器に基づくオンポリシー推論経験からの自己改善

要旨

推論モデルは自身のオン方策経験から改善できるが、この内部ループは脆い。終端検証器は信頼できるものの、与える教師信号は疎であり、一方で同一モデルによる密なガイダンスは、誤った確信を強化したり、学習を狭い解法モードへ過度に集中させたりする恐れがある。本稿では、検証器に基づく自己改善手法である FlowBalance を導入する。FlowBalance は、完全な応答上の正規化された分布を学習する。各オン方策軌道について、学習時に凍結された同一方策のビューが、特権的コンテキストを用いてトークンレベルの対数確率利得を生成し、これらを軌道レベルへ集約して自己ガイダンススコアとする。FlowBalance は、このスコアを検証器由来のグループアドバンテージによって較正する。すなわち、ガイダンスは、正のアドバンテージを持つ軌道では保持され、負のアドバンテージを持つ軌道では反転され、ロールアウトグループが結果の選好を与えない場合には無効化される。得られたエネルギーは参照方策を指数関数的に再重み付けし、プロファイル付き軌道バランス（profiled trajectory balance）は、ロールアウトグループごとの一回の対数分配関数推定によって正規化された目標分布を近似する。これにより、トークンレベルの模倣損失を別途要することなく、軌道バランスによる結果較正済み自己ガイダンスが実現される。解析では、グループ内コントラストの保存、逆KLに基づく最小変更としての特徴付け、検証器による目標報酬の単調制御、および棄却応答上の偽陽性自己ガイダンスに対する正確な補正が確立される。数学的推論において、FlowBalance は、Qwen3-4B と Qwen3-8B の両方で FlowRL の平均性能を上回り、学習速度と安定性も改善し、直接OPSDが示す応答長の崩壊を回避し、制御された AIME24 診断では正しい戦略の多様性がより高いことを示す。

English

A reasoning model can improve from its own on-policy experience, but this inner loop is fragile: terminal verifiers provide reliable yet sparse supervision, while dense same-model guidance can reinforce false confidence or overconcentrate learning on a narrow solution mode. We introduce FlowBalance, a verifier-grounded self-improvement method that learns a normalized distribution over complete responses. For each on-policy trajectory, a frozen training-time view of the same policy uses privileged context to produce token-level log-probability gains, which are aggregated into a trajectory-level self-guidance score. FlowBalance calibrates this score with the verifier-derived group advantage: guidance is retained on positive-advantage trajectories, reversed on negative-advantage trajectories, and disabled when the rollout group provides no outcome preference. The resulting energy exponentially reweights a reference policy, and profiled trajectory balance fits the normalized target with one log-partition estimate per rollout group. This realizes outcome-calibrated self-guidance via trajectory balance, without a separate token-level imitation loss. Our analysis establishes within-group contrast preservation, a minimum-change reverse-KL characterization, monotonic verifier control of target reward, and an exact correction against false-positive self-guidance on rejected responses. On mathematical reasoning, FlowBalance improves average performance over FlowRL on both Qwen3-4B and Qwen3-8B, while also improving training speed and stability, avoiding direct OPSD's response-length collapse, and exhibiting higher correct-strategy diversity in a controlled AIME24 diagnostic.