SkillRise: エージェント型強化学習によるタスク間スキル進化

要旨

大規模言語モデルエージェントは、再利用可能な解決パターンを共有する、関連しているが異なるタスクに直面することが多い。しかし、標準的なエージェント強化学習はタスクを独立したエピソードとして扱い、既存のスキル学習手法は単一タスクの反復試行に焦点を当てるか、抽出、検索、実行を絡めた複数段階のパイプラインを用いる。本稿では、タスク間でスキルを学習するための統一強化学習フレームワークであるSkillRiseを紹介する。SkillRiseは関連インスタンスを段階的に難易度が上がる系列に整理し、単一のポリシーを用いてタスク解決と、進化するスキル文書（次のタスクに直接受け渡される）のキュレーションを交互に行う。タスク間での分離されたクレジット割り当てにより、現在のタスクの結果を用いた解決と、割引された下流の結果を用いたキュレーションを監督する。ALFWorld、WebShop、ScienceWorldでの実験により、SkillRiseは比較手法の中で最も高いPass@1性能を達成し、最強ベースラインに対し2.3～8.5パーセントポイントの向上を示した。異なるタスクを横断して学習されるものの、学習されたキュレーションポリシーは同一タスクの反復試行に対しても有効である。さらなる分析により、テスト時におけるタスク間でのスケーリングが明らかになった。各タスクが一度だけ試行される場合でも、関連タスクの長い系列によって性能が向上する。この傾向は、SkillRiseが同一タスクの反復サンプリングの恩恵ではなく、タスク間で転送可能なスキルを再利用していることを示唆する。さらにSkillRiseは、複数段階のスキル学習パイプラインの実行時オーバーヘッドを大幅に削減しつつ、高い性能を維持する。これらの結果は、LLMエージェントがタスク間で転送可能なスキルを抽出、洗練、再利用するための、シンプルで効率的な学習パラダイムを提供する。

English

Large language model agents often encounter related yet distinct tasks that share reusable solution patterns. Yet standard agentic reinforcement learning treats tasks as independent episodes, while existing approaches to skill learning either focus on repeated attempts of one task or use pipelines with multiple stages that entangle extraction, retrieval, and execution. We introduce SkillRise, a unified reinforcement learning framework for learning skills across tasks. SkillRise organizes related instances into progressively challenging sequences and uses a single policy to alternate between task solving and curating an evolving skill document passed directly to the next task. Decoupled credit assignment across tasks supervises solving with the current task outcome and curation with discounted downstream outcomes. Experiments on ALFWorld, WebShop, and ScienceWorld show that SkillRise achieves the strongest Pass@1 performance among the compared methods, with gains over the strongest baseline ranging from 2.3 to 8.5 percentage points. Although trained across distinct tasks, its learned curation policy remains effective for repeated attempts on the same task. Further analysis reveals scaling at test time across tasks: performance improves with longer sequences of related tasks even when each task is attempted only once. This trend suggests that SkillRise reuses transferable skills across tasks rather than benefiting from repeated sampling of the same task. SkillRise further retains strong performance while substantially reducing the runtime overhead of skill learning pipelines with multiple stages. Together, these results provide a simple and efficient training paradigm for LLM agents to extract, refine, and reuse transferable skills across tasks.