SkillRL: 再帰的スキル拡張強化学習によるエージェントの進化

要旨

大規模言語モデル（LLM）エージェントは複雑なタスクにおいて驚異的な成果を示すが、過去の経験から学習できずに単独動作することが多い。既存のメモリベース手法は主に生の行動軌跡を保存するが、これらは冗長でノイズが多く、汎化に不可欠な高水準で再利用可能な行動パターンの抽出を妨げている。本論文では、自動的スキル発見と再帰的進化を通じて、生の経験と方策改善の間の隔たりを埋めるSkillRLフレームワークを提案する。本手法では、経験ベースの蒸留メカニズムによる階層的スキルライブラリSkillBankの構築、汎用的およびタスク特化的なヒューリスティックスの適応的検索戦略、強化学習中にスキルライブラリとエージェントの方策を共進化させる再帰的進化メカニズムを導入する。これらの革新により、トークン使用量を大幅に削減しつつ推論効用を向上させる。ALFWorld、WebShop及び7つの検索拡張タスクによる実験結果は、SkillRLが既存の強力なベースラインを15.3%以上上回る最高水準の性能を達成し、タスク複雑性の増大に対しても堅牢性を維持することを実証している。コードはhttps://github.com/aiming-lab/SkillRLで公開されている。

English

Large Language Model (LLM) agents have shown stunning results in complex tasks, yet they often operate in isolation, failing to learn from past experiences. Existing memory-based methods primarily store raw trajectories, which are often redundant and noise-heavy. This prevents agents from extracting high-level, reusable behavioral patterns that are essential for generalization. In this paper, we propose SkillRL, a framework that bridges the gap between raw experience and policy improvement through automatic skill discovery and recursive evolution. Our approach introduces an experience-based distillation mechanism to build a hierarchical skill library SkillBank, an adaptive retrieval strategy for general and task-specific heuristics, and a recursive evolution mechanism that allows the skill library to co-evolve with the agent's policy during reinforcement learning. These innovations significantly reduce the token footprint while enhancing reasoning utility. Experimental results on ALFWorld, WebShop and seven search-augmented tasks demonstrate that SkillRL achieves state-of-the-art performance, outperforming strong baselines over 15.3% and maintaining robustness as task complexity increases. Code is available at this https://github.com/aiming-lab/SkillRL.

SkillRL: 再帰的スキル拡張強化学習によるエージェントの進化

SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning

要旨

Support