진화하는 프로그램 기술 네트워크

초록

우리는 에이전트가 실행 가능한 스킬 라이브러리를 지속적으로 구축, 정제, 재사용해야 하는 개방형 구체화 환경에서의 지속적 스킬 획득을 연구합니다. 본 논문에서는 스킬이 실행 가능한 기호 프로그램으로 구성되고 경험을 통해 진화하는 조합적 네트워크를 형성하는 Programmatic Skill Network(PSN) 프레임워크를 소개합니다. PSN은 대규모 언어 모델을 통해 구현된 세 가지 핵심 메커니즘을 정의합니다: (1) 스킬 조합에 대한 구조화된 결함 지역화를 수행하는 REFLECT, (2) 신뢰할 수 있는 스킬은 안정화시키면서 불확실한 스킬에 대해서는 가소성을 유지하는 성숙도 인지 업데이트 게이팅을 통한 점진적 최적화, (3) 네트워크 간결성을 유지하며 롤백 검증 하에 수행되는 표준 구조 리팩토링입니다. 또한 PSN의 학습 역학이 신경망 훈련과 구조적 유사성을 보인다는 점을 확인합니다. MineDojo와 Crafter에 대한 실험을 통해 개방형 작업 분포 전반에 걸쳐 강력한 스킬 재사용, 빠른 적응 능력 및 우수한 일반화 성능을 입증합니다.

English

We study continual skill acquisition in open-ended embodied environments where an agent must construct, refine, and reuse an expanding library of executable skills. We introduce the Programmatic Skill Network (PSN), a framework in which skills are executable symbolic programs forming a compositional network that evolves through experience. PSN defines three core mechanisms instantiated via large language models: (1)REFLECT for structured fault localization over skill compositions, (2) progressive optimization with maturity-aware update gating that stabilizes reliable skills while maintaining plasticity for uncertain ones, and (3) canonical structural refactoring under rollback validation that maintains network compactness. We further show that PSN's learning dynamics exhibit structural parallels to neural network training. Experiments on MineDojo and Crafter demonstrate robust skill reuse, rapid adaptation, and strong generalization across open-ended task distributions.\footnote{We plan to open-source the code.

진화하는 프로그램 기술 네트워크

Evolving Programmatic Skill Networks

초록

Support