SEED: エージェント的強化学習のための自己進化的オン方策蒸留

要旨

大規模言語モデルは、マルチターン対話、ツール使用、環境フィードバックを伴う長期的なタスクを遂行する対話型エージェントとして訓練されることが増えている。成果ベースの強化学習（RL）は実用的な最適化パラダイムを提供するが、そのスパースな軌跡レベルの報酬は中間的な決定に対するガイダンスが限られており、エピソードレベルの成果とトークンレベルの方策学習の間に監督のギャップが生じる。我々はSEED（SElf-Evolving On-Policy Distillation）を提案する。これは、完了したオン方策軌跡を訓練時のハインドサイトスキルに変換し、その行動効果を方策モデルに蒸留する自己進化型フレームワークである。SEEDはまず、方策を微調整して完了した軌跡を分析し、再利用可能なワークフロー、決定的な観測、失敗回避ルールを捉えた自然言語スキルを生成する。RL中、現在の方策は軌跡を収集すると同時に、そこからハインドサイトスキルを抽出するアナライザとして機能する。したがって、方策の更新はその後の意思決定とスキル分析を同時に改善し、ハインドサイト監督が方策とともに進化することを可能にする。次にSEEDは、通常の文脈とスキル拡張文脈の下でサンプリングされた行動を再スコアリングし、スキルによって誘発される確率変化を密なトークンレベルのオン方策蒸留信号に変換する。この信号は成果ベースのRLと共同で最適化され、補助的な監督を現在の軌跡分布に適合させたままにする。テキストベースおよびビジョンベースのエージェントタスクに関する広範な実験により、SEEDが一貫してパフォーマンスとサンプル効率を向上させ、未知のシナリオに対する頑健な汎化を示すことが明らかになった。コードは https://github.com/jinyangwu/SEED で公開している。

English

Large language models are increasingly trained as interactive agents for long-horizon tasks involving multi-turn interaction, tool use, and environment feedback. Outcome-based reinforcement learning (RL) provides a practical optimization paradigm, but its sparse trajectory-level rewards offer limited guidance on intermediate decisions, leaving a supervision gap between episode-level outcomes and token-level policy learning. We propose SEED (SElf-Evolving On-Policy Distillation), a self-evolving framework that converts completed on-policy trajectories into training-time hindsight skills and distills their behavioral effect back into the policy model. SEED first fine-tunes the policy to analyze completed trajectories and generate natural-language skills that capture reusable workflows, decisive observations, or failure-avoidance rules. During RL, the current policy both collects trajectories and serves as the analyzer that extracts hindsight skills from them. Policy updates therefore improve subsequent decision making and skill analysis together, allowing hindsight supervision to evolve with the policy. SEED then re-scores the sampled actions under ordinary and skill-augmented contexts, converting the skill-induced probability shift into a dense token-level on-policy distillation signal. This signal is jointly optimized with outcome-based RL, keeping the auxiliary supervision aligned with the current trajectory distribution. Extensive experiments on text-based and vision-based agentic tasks show that SEED consistently improves performance and sample efficiency, exhibiting robust generalization to unseen scenarios. Our code is available at https://github.com/jinyangwu/SEED.

SEED: エージェント的強化学習のための自己進化的オン方策蒸留

SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning

要旨

Support