プログラム的スキルネットワークの進化

Evolving Programmatic Skill Networks

January 7, 2026

著者: Haochen Shi, Xingdi Yuan, Bang Liu

cs.AI

要旨

我々は、エージェントが実行可能なスキルのライブラリを構築・洗練・再利用し続ける必要がある、オープンエンドな具身環境における継続的スキル獲得を研究する。本論文では、プログラム的スキルネットワーク（PSN）を提案する。PSNは、スキルを実行可能な記号的プログラムとして構成し、経験を通じて発展する合成的ネットワークを形成する枠組みである。PSNは大規模言語モデルによって実現される三つの核心的メカニズムを定義する：(1) スキル合成に対する構造化された故障箇所特定のためのREFLECT、(2) 信頼性の高いスキルは安定化させつつ不確実なスキルには可塑性を維持する、成熟度を考慮した更新ゲート付きの段階的最適化、(3) ロールバック検証下での正則化された構造的リファクタリングにより、ネットワークのコンパクト性を維持する。さらに、PSNの学習ダイナミクスがニューラルネットワーク訓練との構造的類似性を示すことを明らかにする。MineDojoとCrafterを用いた実験により、オープンエンドなタスク分布にわたる頑健なスキル再利用、迅速な適応、および強力な汎化性能が実証された。\footnote{コードはオープンソース化を予定している。}

English

We study continual skill acquisition in open-ended embodied environments where an agent must construct, refine, and reuse an expanding library of executable skills. We introduce the Programmatic Skill Network (PSN), a framework in which skills are executable symbolic programs forming a compositional network that evolves through experience. PSN defines three core mechanisms instantiated via large language models: (1)REFLECT for structured fault localization over skill compositions, (2) progressive optimization with maturity-aware update gating that stabilizes reliable skills while maintaining plasticity for uncertain ones, and (3) canonical structural refactoring under rollback validation that maintains network compactness. We further show that PSN's learning dynamics exhibit structural parallels to neural network training. Experiments on MineDojo and Crafter demonstrate robust skill reuse, rapid adaptation, and strong generalization across open-ended task distributions.\footnote{We plan to open-source the code.