すべてのトークンが平等なクレジットに値するわけではない：Long-CoT推論のための反事実感度クレジット再配分

要旨

検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデルにおける長いCoT推論の向上において中心的な役割を果たす。GRPOのようなCriticフリー手法は、応答レベルの報酬をアドバンテージに変換し、それをトークン全体に均一に配布するが、最終結果に対する各トークンの不均等な貢献を見落としている。一方、オン方策自己蒸留（OPSD）は、非特権方策と特権的自己教師との間の順方向KLダイバージェンスを最小化することにより、密な分布的監督を提供し、結果として生じる尤度シフトが信頼できる回答整合情報を符号化していると暗黙的に仮定している。我々は、サンプリングされた各軌道を固定し、正しさを主張する条件と誤りを主張する条件という対立する2つの結果条件の下で再スコアリングすることにより、この前提を検証する。影響を受けるほとんどのトークンは両条件で同じ方向にシフトし、符号の反転はほとんどなく、誘導される最適化シグナルにはかなりの重複が見られる。また、大きなシフトは置換可能性の高い表層形トークンに集中する一方、問題固有の推論内容を担うトークンはあまり敏感ではない。これらの発見は、特権的なシフトが信頼できる回答整合方向を提供できないことを示しており、その大きさは主にトークンレベルの学習価値ではなく反事実的感度を反映している。これらの観察に基づき、我々は反事実的感度クレジット再配分（CSCR）を提案する。これはGRPOの単純な拡張であり、高い感度を持つトークンへのクレジットを削減し、トークン単位のアドバンテージを再正規化することで、元のクレジット予算と検証器によって決定された方向の両方を維持する。長いCoT数学的推論ベンチマークにおいて、CSCRは同じポリシー更新回数でGRPOベースラインを一貫して上回る。対象を絞ったアブレーション実験は、特権によって誘導された方向は信頼できず、適度なダウンウェイトが最も効果的であり、より強い変調は最適化を不安定化させるという我々の診断をさらに裏付ける。

English

Reinforcement learning with verifiable rewards (RLVR) is central to improving long-CoT reasoning in large language models. Critic-free methods such as GRPO convert response-level rewards into advantages and uniformly broadcast them across tokens, overlooking their unequal contributions to the final outcome. On-policy self-distillation (OPSD) instead provides dense distributional supervision by minimizing the forward KL divergence between an unprivileged policy and a privileged self-teacher, implicitly assuming that the resulting likelihood shifts encode reliable answer-aligned information. We test this premise by fixing each sampled trajectory and re-scoring it under two opposing outcome conditions, one asserting correctness and the other incorrectness. Most affected tokens shift in the same direction under both conditions, with few sign reversals and substantial overlap in the induced optimization signals. Large shifts also concentrate on highly substitutable surface-form tokens, whereas tokens carrying problem-specific reasoning content are less sensitive. These findings show that privileged shifts fail to provide reliable answer-aligned directions, while their magnitudes primarily reflect counterfactual sensitivity rather than token-level learning value. Based on these observations, we propose Counterfactual Sensitivity Credit Reallocation (CSCR), a simple extension of GRPO that reduces credit for highly sensitive tokens and renormalizes token-level advantages to preserve both the original credit budget and verifier-determined direction. On long-CoT mathematical reasoning benchmarks, CSCR consistently outperforms GRPO baseline with the same number of policy updates. Targeted ablations further corroborate our diagnosis: privilege-induced directions are unreliable, moderate downweighting is most effective, and stronger modulation destabilizes optimization.