強化学習による段階的エージェントスキル生成

要旨

既存のスキル生成手法は、その多くがヒューリスティクスやパイプライン型の統合に依存しており、異なる情報源ごとに特別な設計が必要です。一方、学習ベースの手法は、異種の情報源にわたるスキル生成をモデル化するためのより統合的なアプローチを提供します。しかし、スキルには関連性や正しさに基づく自然な教師信号が存在せず、その価値は主に下流タスクにおけるエージェントの行動を改善するかどうかによってのみ判断できるため、学習ベースのスキル生成には依然として課題が残ります。この課題に対処するため、我々は高品質なエージェントスキルを段階的に生成する強化学習手法であるSkill-αを提案します。具体的には、スキル生成を、スキル構築を個別に評価可能な編集へと分解する逐次編集プロセスとして定式化し、アンカー付きクエリ上で元のスキルと編集後のスキルを用いた下流実行を比較することで各編集を評価する、新規のロールバック報酬を導入します。広範な実験により、Skill-αは文書からスキルへの設定と経験からスキルへの設定の両方において、ヒューリスティクスやパイプラインに基づく手法よりも効果的なスキルを生成することが示されました。主要なGPT-4oワーカーを使用した場合、Skill-αは最強のスキル生成ベースラインと比較して、CL-Benchでは平均下流成功率を3.3ポイント、tau2-benchでは6.7ポイント向上させました。さらに、アブレーション実験により、ロールバック報酬と段階的生成の重要性が検証されました。

English

Existing skill generation methods largely rely on heuristics or pipeline-style consolidation, which must be specially designed for different evidence sources. In contrast, learning-based approaches offer a more unified way to model skill generation across heterogeneous sources. However, learning-based skill generation remains challenging because skills lack a natural supervision signal based on relevance or correctness; their value can largely be determined only by whether they improve the behavior of the agent on downstream tasks. To address this challenge, we propose Skill-α, a reinforcement learning method for progressively generating high-quality agent skills. Specifically, we formulate skill generation as a sequential editing process that decomposes skill construction into individually evaluable edits, and introduce a novel rollback reward that evaluates each edit by comparing downstream execution under the original and edited skills on an anchored query. Extensive experiments show that Skill-α generates more effective skills than methods based on heuristics or pipelines in both document-to-skill and experience-to-skill settings. Under the main GPT-4o worker, Skill-α improves average downstream success rates over the strongest skill-generation baseline by 3.3 points on CL-Bench and 6.7 points on tau2-bench. Further ablations validate the importance of rollback reward and progressive generation.