Эволюционирующие программные сети навыков

Evolving Programmatic Skill Networks

January 7, 2026

Авторы: Haochen Shi, Xingdi Yuan, Bang Liu

cs.AI

Аннотация

Мы исследуем непрерывное приобретение навыков в открытых воплощённых средах, где агент должен создавать, совершенствовать и повторно использовать расширяющуюся библиотеку исполняемых навыков. Мы представляем Программную Сеть Навыков (ПСН) — фреймворк, в котором навыки являются исполняемыми символическими программами, формирующими композиционную сеть, эволюционирующую с опытом. ПСН определяет три ключевых механизма, реализованных с помощью больших языковых моделей: (1) REFLECT для структурированной локализации ошибок в композициях навыков, (2) прогрессивную оптимизацию с зрелостно-зависимым управлением обновлениями, которая стабилизирует надёжные навыки, сохраняя пластичность для неопределённых, и (3) канонический структурный рефакторинг с проверкой отката, обеспечивающий компактность сети. Мы также показываем, что динамика обучения ПСН демонстрирует структурные параллели с обучением нейронных сетей. Эксперименты на MineDojo и Crafter демонстрируют устойчивое повторное использование навыков, быструю адаптацию и сильную обобщающую способность для открытых распределений задач.\footnote{Мы планируем опубликовать исходный код.}

English

We study continual skill acquisition in open-ended embodied environments where an agent must construct, refine, and reuse an expanding library of executable skills. We introduce the Programmatic Skill Network (PSN), a framework in which skills are executable symbolic programs forming a compositional network that evolves through experience. PSN defines three core mechanisms instantiated via large language models: (1)REFLECT for structured fault localization over skill compositions, (2) progressive optimization with maturity-aware update gating that stabilizes reliable skills while maintaining plasticity for uncertain ones, and (3) canonical structural refactoring under rollback validation that maintains network compactness. We further show that PSN's learning dynamics exhibit structural parallels to neural network training. Experiments on MineDojo and Crafter demonstrate robust skill reuse, rapid adaptation, and strong generalization across open-ended task distributions.\footnote{We plan to open-source the code.