Réseaux d'aptitudes programmatiques en évolution

Evolving Programmatic Skill Networks

January 7, 2026

papers.authors: Haochen Shi, Xingdi Yuan, Bang Liu

cs.AI

papers.abstract

Nous étudions l'acquisition continue de compétences dans des environnements incarnés ouverts, où un agent doit construire, affiner et réutiliser une bibliothèque croissante de compétences exécutables. Nous présentons le Réseau de Compétences Programmatiques (PSN), un cadre dans lequel les compétences sont des programmes symboliques exécutables formant un réseau compositionnel qui évolue par l'expérience. PSN définit trois mécanismes principaux instanciés via des grands modèles de langage : (1) REFLECT pour la localisation structurée des défauts dans les compositions de compétences, (2) l'optimisation progressive avec un verrouillage de mise à jour tenant compte de la maturité, qui stabilise les compétences fiables tout en maintenant la plasticité des compétences incertaines, et (3) le remaniement structurel canonique avec validation par retour arrière qui préserve la compacité du réseau. Nous montrons en outre que la dynamique d'apprentissage de PSN présente des parallèles structurels avec l'entraînement des réseaux neuronaux. Les expériences sur MineDojo et Crafter démontrent une réutilisation robuste des compétences, une adaptation rapide et une forte généralisation sur des distributions de tâches ouvertes.\footnote{Nous prévoyons de rendre le code open-source.}

English

We study continual skill acquisition in open-ended embodied environments where an agent must construct, refine, and reuse an expanding library of executable skills. We introduce the Programmatic Skill Network (PSN), a framework in which skills are executable symbolic programs forming a compositional network that evolves through experience. PSN defines three core mechanisms instantiated via large language models: (1)REFLECT for structured fault localization over skill compositions, (2) progressive optimization with maturity-aware update gating that stabilizes reliable skills while maintaining plasticity for uncertain ones, and (3) canonical structural refactoring under rollback validation that maintains network compactness. We further show that PSN's learning dynamics exhibit structural parallels to neural network training. Experiments on MineDojo and Crafter demonstrate robust skill reuse, rapid adaptation, and strong generalization across open-ended task distributions.\footnote{We plan to open-source the code.