Espansione delle capacità e composizione nello spazio dei parametri

Skill Expansion and Composition in Parameter Space

February 9, 2025

Autori: Tenglong Liu, Jianxiong Li, Yinan Zheng, Haoyi Niu, Yixing Lan, Xin Xu, Xianyuan Zhan

cs.AI

Abstract

Gli esseri umani eccellono nel riutilizzare conoscenze pregresse per affrontare nuove sfide e sviluppare abilità risolvendo problemi. Questo paradigma sta diventando sempre più popolare nello sviluppo di agenti autonomi, poiché crea sistemi in grado di auto-evolversi in risposta a nuove sfide come gli esseri umani. Tuttavia, i metodi precedenti soffrono di limitata efficienza nell'addestramento quando si espandono nuove abilità e non riescono a sfruttare appieno le conoscenze pregresse per facilitare l'apprendimento di nuovi compiti. In questo articolo, proponiamo Parametric Skill Expansion and Composition (PSEC), un nuovo framework progettato per far evolvere in modo iterativo le capacità degli agenti e affrontare efficientemente nuove sfide mantenendo una libreria di abilità gestibile. Questa libreria può integrare progressivamente primitive di abilità come moduli Low-Rank Adaptation (LoRA) plug-and-play nell'ottimizzazione dei parametri, facilitando l'espansione efficiente e flessibile delle abilità. Questa struttura consente anche la composizione diretta delle abilità nello spazio dei parametri unendo moduli LoRA che codificano abilità diverse, sfruttando informazioni condivise tra abilità per programmare efficacemente nuove abilità. Basandoci su questo, proponiamo un modulo consapevole del contesto per attivare dinamicamente abilità diverse per gestire collaborativamente nuovi compiti. Potenziando diverse applicazioni tra cui composizione multi-obiettivo, cambiamento di dinamiche e cambiamento continuo delle politiche, i risultati su D4RL, DSRL benchmarks e DeepMind Control Suite mostrano che PSEC presenta una capacità superiore nel sfruttare le conoscenze pregresse per affrontare efficientemente nuove sfide, nonché espandere le proprie librerie di abilità per far evolvere le capacità. Sito web del progetto: https://ltlhuuu.github.io/PSEC/.

English

Humans excel at reusing prior knowledge to address new challenges and developing skills while solving problems. This paradigm becomes increasingly popular in the development of autonomous agents, as it develops systems that can self-evolve in response to new challenges like human beings. However, previous methods suffer from limited training efficiency when expanding new skills and fail to fully leverage prior knowledge to facilitate new task learning. In this paper, we propose Parametric Skill Expansion and Composition (PSEC), a new framework designed to iteratively evolve the agents' capabilities and efficiently address new challenges by maintaining a manageable skill library. This library can progressively integrate skill primitives as plug-and-play Low-Rank Adaptation (LoRA) modules in parameter-efficient finetuning, facilitating efficient and flexible skill expansion. This structure also enables the direct skill compositions in parameter space by merging LoRA modules that encode different skills, leveraging shared information across skills to effectively program new skills. Based on this, we propose a context-aware module to dynamically activate different skills to collaboratively handle new tasks. Empowering diverse applications including multi-objective composition, dynamics shift, and continual policy shift, the results on D4RL, DSRL benchmarks, and the DeepMind Control Suite show that PSEC exhibits superior capacity to leverage prior knowledge to efficiently tackle new challenges, as well as expand its skill libraries to evolve the capabilities. Project website: https://ltlhuuu.github.io/PSEC/.