Entwicklung programmatischer Fähigkeitsnetzwerke

Evolving Programmatic Skill Networks

January 7, 2026

papers.authors: Haochen Shi, Xingdi Yuan, Bang Liu

cs.AI

papers.abstract

Wir erforschen kontinuierlichen Fertigkeitserwerb in offenen verkörperten Umgebungen, in denen ein Agent eine expandierende Bibliothek ausführbarer Fertigkeiten aufbauen, verfeinern und wiederverwenden muss. Wir stellen das Programmatische Fertigkeitsnetzwerk (PSN) vor – einen Rahmen, in dem Fertigkeiten als ausführbare symbolische Programme ein kompositionelles Netzwerk bilden, das sich durch Erfahrung weiterentwickelt. PSN definiert drei Kernmechanismen, die durch große Sprachmodelle instanziiert werden: (1) REFLECT zur strukturierten Fehlerlokalisierung in Fertigkeitskompositionen, (2) progressive Optimierung mit reifegesteuerter Aktualisierungslogik, die zuverlässige Fertigkeiten stabilisiert, während Plastizität für unsichere Fertigkeiten erhalten bleibt, und (3) kanonische Strukturrefaktorierung mit Rollback-Validierung zur Gewährleistung von Netzwerkkompaktheit. Wir zeigen weiterhin, dass PSNs Lern dynamik strukturelle Parallelen zum Training neuronaler Netze aufweist. Experimente in MineDojo und Crafter demonstrieren robuste Fertigungswiederverwendung, schnelle Anpassungsfähigkeit und starke Generalisierung über offene Aufgabenverteilungen hinweg.\footnote{Wir planen, den Code quelloffen zu veröffentlichen.}

English

We study continual skill acquisition in open-ended embodied environments where an agent must construct, refine, and reuse an expanding library of executable skills. We introduce the Programmatic Skill Network (PSN), a framework in which skills are executable symbolic programs forming a compositional network that evolves through experience. PSN defines three core mechanisms instantiated via large language models: (1)REFLECT for structured fault localization over skill compositions, (2) progressive optimization with maturity-aware update gating that stabilizes reliable skills while maintaining plasticity for uncertain ones, and (3) canonical structural refactoring under rollback validation that maintains network compactness. We further show that PSN's learning dynamics exhibit structural parallels to neural network training. Experiments on MineDojo and Crafter demonstrate robust skill reuse, rapid adaptation, and strong generalization across open-ended task distributions.\footnote{We plan to open-source the code.