Vaardigheidsuitbreiding en samenstelling in parameterruimte

Skill Expansion and Composition in Parameter Space

February 9, 2025

Auteurs: Tenglong Liu, Jianxiong Li, Yinan Zheng, Haoyi Niu, Yixing Lan, Xin Xu, Xianyuan Zhan

cs.AI

Samenvatting

Mensen excelleren in het hergebruiken van eerdere kennis om nieuwe uitdagingen aan te gaan en vaardigheden te ontwikkelen tijdens het oplossen van problemen. Dit paradigma wordt steeds populairder in de ontwikkeling van autonome agenten, aangezien het systemen ontwikkelt die zichzelf kunnen evolueren als reactie op nieuwe uitdagingen zoals mensen. Echter, eerdere methoden kampen met beperkte trainings-efficiëntie bij het uitbreiden van nieuwe vaardigheden en slagen er niet in om eerdere kennis volledig te benutten om het leren van nieuwe taken te vergemakkelijken. In dit artikel stellen we Parametrische Vaardigheidsuitbreiding en Samenstelling (PSEC) voor, een nieuw raamwerk dat is ontworpen om de capaciteiten van de agenten iteratief te laten evolueren en efficiënt nieuwe uitdagingen aan te gaan door een beheersbare vaardighedenbibliotheek te behouden. Deze bibliotheek kan geleidelijk vaardigheidsprimitieven integreren als plug-and-play modules voor Lage-Rang Aanpassing (LoRA) in parameter-efficiënte finetuning, waardoor efficiënte en flexibele vaardigheidsuitbreiding mogelijk wordt. Deze structuur maakt ook directe vaardigheidscomposities in parameter-ruimte mogelijk door LoRA-modules samen te voegen die verschillende vaardigheden coderen, waarbij gedeelde informatie over vaardigheden wordt benut om effectief nieuwe vaardigheden te programmeren. Op basis hiervan stellen we een contextbewuste module voor om verschillende vaardigheden dynamisch te activeren om gezamenlijk nieuwe taken aan te pakken. Door diverse toepassingen te versterken, waaronder multi-objectieve samenstelling, dynamische verschuiving en voortdurende beleidswijziging, tonen de resultaten op D4RL, DSRL-benchmarks en de DeepMind Control Suite aan dat PSEC een superieure capaciteit vertoont om eerdere kennis efficiënt te benutten om nieuwe uitdagingen aan te gaan, evenals het uitbreiden van zijn vaardighedenbibliotheken om de capaciteiten te laten evolueren. Projectwebsite: https://ltlhuuu.github.io/PSEC/.

English

Humans excel at reusing prior knowledge to address new challenges and developing skills while solving problems. This paradigm becomes increasingly popular in the development of autonomous agents, as it develops systems that can self-evolve in response to new challenges like human beings. However, previous methods suffer from limited training efficiency when expanding new skills and fail to fully leverage prior knowledge to facilitate new task learning. In this paper, we propose Parametric Skill Expansion and Composition (PSEC), a new framework designed to iteratively evolve the agents' capabilities and efficiently address new challenges by maintaining a manageable skill library. This library can progressively integrate skill primitives as plug-and-play Low-Rank Adaptation (LoRA) modules in parameter-efficient finetuning, facilitating efficient and flexible skill expansion. This structure also enables the direct skill compositions in parameter space by merging LoRA modules that encode different skills, leveraging shared information across skills to effectively program new skills. Based on this, we propose a context-aware module to dynamically activate different skills to collaboratively handle new tasks. Empowering diverse applications including multi-objective composition, dynamics shift, and continual policy shift, the results on D4RL, DSRL benchmarks, and the DeepMind Control Suite show that PSEC exhibits superior capacity to leverage prior knowledge to efficiently tackle new challenges, as well as expand its skill libraries to evolve the capabilities. Project website: https://ltlhuuu.github.io/PSEC/.