Redes de Habilidades Programáticas en Evolución

Evolving Programmatic Skill Networks

January 7, 2026

Autores: Haochen Shi, Xingdi Yuan, Bang Liu

cs.AI

Resumen

Estudiamos la adquisición continua de habilidades en entornos corporizados abiertos donde un agente debe construir, refinar y reutilizar una biblioteca en expansión de habilidades ejecutables. Presentamos la Red de Habilidades Programáticas (PSN), un marco en el que las habilidades son programas simbólicos ejecutables que forman una red composicional que evoluciona mediante la experiencia. PSN define tres mecanismos centrales instanciados mediante modelos de lenguaje extenso: (1) REFLECT para la localización estructurada de fallos en composiciones de habilidades, (2) optimización progresiva con compuertas de actualización sensibles a la madurez que estabilizan habilidades confiables mientras mantienen la plasticidad para las inciertas, y (3) refactorización estructural canónica bajo validación con retroceso que mantiene la compacidad de la red. Además, demostramos que la dinámica de aprendizaje de PSN exhibe paralelismos estructurales con el entrenamiento de redes neuronales. Los experimentos en MineDojo y Crafter demuestran una reutilización robusta de habilidades, adaptación rápida y una fuerte generalización en distribuciones de tareas abiertas.\footnote{Planeamos liberar el código como open-source.}

English

We study continual skill acquisition in open-ended embodied environments where an agent must construct, refine, and reuse an expanding library of executable skills. We introduce the Programmatic Skill Network (PSN), a framework in which skills are executable symbolic programs forming a compositional network that evolves through experience. PSN defines three core mechanisms instantiated via large language models: (1)REFLECT for structured fault localization over skill compositions, (2) progressive optimization with maturity-aware update gating that stabilizes reliable skills while maintaining plasticity for uncertain ones, and (3) canonical structural refactoring under rollback validation that maintains network compactness. We further show that PSN's learning dynamics exhibit structural parallels to neural network training. Experiments on MineDojo and Crafter demonstrate robust skill reuse, rapid adaptation, and strong generalization across open-ended task distributions.\footnote{We plan to open-source the code.