AgentOPSD: エージェント型強化学習のための再帰的自己蒸留

要旨

検証可能な報酬を用いた強化学習（RL）は軌道レベルのアドバンテージ推定を行うが、長期かつマルチターンのエージェントタスクにおいて結果を左右する数少ない重要決定にクレジットを正しく割り当てられないことが多い。最近の研究では、クレジット割り当てのための特権的自己蒸留が導入され、より密な教師信号が提供されるが、そのような局所的な信号が逐次的なクレジットをどのように表現すべきかは依然として不明である。我々は、エージェント強化学習におけるターンレベルのクレジット割り当てのための、クリティック不要かつ再帰的な手法であるAgentOPSDを提案する。AgentOPSDは、トークンレベルの教師-生徒対数確率ギャップをターンレベルのエビデンスに集約し、対数オッズ空間でベイズ信念状態を再帰的に更新する。これにより、疎な結果の教師信号をターンレベルのクレジット信号に変換する原理に基づく再重み付けスキームが得られ、連続する状態間の周辺信念の改訂を通じて決定的なターンを特定する。本手法は標準的な方策最適化と完全に互換性があり、追加のクリティックも追加のロールアウトも必要としない。我々はAgentOPSDをALFWorld、WebShop、Search-QA上で、Qwen2.5モデル（3Bおよび7Bの2スケール）を用いて評価する。AgentOPSDはGRPOおよび強力な自己蒸留ベースラインを上回り、Qwen2.5-7Bを用いたALFWorldで89.1%の成功率を達成する。アブレーション研究により、その改善はターンレベルの集約と履歴依存の再帰的信念更新に起因することが示される。

English

Reinforcement learning (RL) with verifiable rewards constructs trajectory-level advantage estimates, yet it often fails to credit the few pivotal decisions that determine outcomes in long-horizon, multi-turn agentic tasks. Recent work introduces privileged self-distillation for credit assignment, providing denser supervision, but it remains unclear how such local signals should represent sequential credit. We propose AgentOPSD, a critic-free, recursive method for turn-level credit assignment in agentic reinforcement learning. AgentOPSD aggregates token-level teacher-student log-probability gaps into turn-level evidence and recursively updates a Bayesian belief state in log-odds space. This yields a principled reweighting scheme that converts sparse outcome supervision into turn-level credit signals and identifies pivotal turns through the marginal belief revision between consecutive states. The method is fully compatible with standard policy optimization and requires neither an additional critic nor extra rollouts. We evaluate AgentOPSD on ALFWorld, WebShop, and Search-QA using Qwen2.5 models at two scales (3B and 7B). AgentOPSD outperforms GRPO and strong self-distillation baselines, achieving 89.1% success on ALFWorld with Qwen2.5-7B. Ablation studies attribute the gains to turn-level aggregation and history-dependent recursive belief updates.