OpenSkill: オープンワールドにおけるLLMエージェントの自己進化

要旨

自己進化型エージェントは展開後の適応を必要とするが、既存のアプローチでは厳選されたスキル、成功軌跡、検証信号など、利用可能な学習ループを前提としている。実際のオープンワールド展開ではこれらが一切提供されず、タスクプロンプトのみが与えられる場合がある。本研究では、エージェントが対象タスクの教師信号なしに、オープンワールドのリソースのみを用いて、スキルと自身の検証信号の両方をゼロから構築しなければならないオープンワールド自己進化を扱う。我々はこのループをブートストラップするフレームワークOpenSkillを提案する。これは、ドキュメント、リポジトリ、ウェブから接地された知識と検証アンカーを獲得し、それらを転移可能なスキルに合成し、対象回答ではなくアンカーに基づく自己構築仮想タスクに対してスキルを洗練する。こうしてオープンワールドは学習すべき知識と教師なしの練習環境の両方を提供し、対象タスクの教師信号は最終評価にのみ用いられる。3つのベンチマークと2つの対象エージェントにおいて、OpenSkillは教師なし制約を満たしつつ最良の自動パス率を達成した。分析により、そのスキルはモデル固有の適応なしにモデル間で転移可能であり、自己構築検証器は正解結果にアクセスすることなくそれらと整合することが示された。

English

Self-evolving agents requires adaptation after deployment, but existing approaches assume a usable learning loop, such as curated skills, successful trajectories, or verifier signals. Real open-world deployments may provide none of these, offering only a task prompt. In this work, we study open-world self-evolution, where an agent must build both its skills and its own verification signals from scratch, using open-world resources but no target-task supervision. We propose OpenSkill, a framework that bootstraps this loop: it acquires grounded knowledge and verification anchors from documentation, repositories, and the web, synthesizes them into transferable skills, and refines those skills against self-built virtual tasks grounded in the anchors rather than in target answers. The open world thus supplies both the knowledge to be learned and a supervision-independent practice environment, with target-task supervision reserved for final evaluation. Across three benchmarks and two target agents, OpenSkill attains the best automated pass rate while satisfying the no-supervision constraint. Analysis shows its skills transfer across models without model-specific adaptation, and its self-built verifier aligns with ground-truth outcomes despite never accessing them.