Expansion des compétences et composition dans l'espace des paramètres

Skill Expansion and Composition in Parameter Space

February 9, 2025

Auteurs: Tenglong Liu, Jianxiong Li, Yinan Zheng, Haoyi Niu, Yixing Lan, Xin Xu, Xianyuan Zhan

cs.AI

Résumé

Les humains excellent dans la réutilisation des connaissances antérieures pour relever de nouveaux défis et développer des compétences tout en résolvant des problèmes. Ce paradigme devient de plus en plus populaire dans le développement d'agents autonomes, car il permet de créer des systèmes capables d'évoluer en réponse à de nouveaux défis, à l'instar des êtres humains. Cependant, les méthodes précédentes souffrent d'une efficacité d'entraînement limitée lors de l'acquisition de nouvelles compétences et ne parviennent pas à exploiter pleinement les connaissances antérieures pour faciliter l'apprentissage de nouvelles tâches. Dans cet article, nous proposons Parametric Skill Expansion and Composition (PSEC), un nouveau cadre conçu pour faire évoluer de manière itérative les capacités des agents et relever efficacement de nouveaux défis en maintenant une bibliothèque de compétences gérable. Cette bibliothèque peut intégrer progressivement des primitives de compétences en tant que modules d'adaptation Low-Rank Adaptation (LoRA) plug-and-play dans un réglage fin efficace en termes de paramètres, facilitant ainsi une expansion efficace et flexible des compétences. Cette structure permet également les compositions directes de compétences dans l'espace des paramètres en fusionnant des modules LoRA qui codent différentes compétences, exploitant les informations partagées entre les compétences pour programmer efficacement de nouvelles compétences. Sur cette base, nous proposons un module conscient du contexte pour activer dynamiquement différentes compétences afin de gérer de manière collaborative de nouvelles tâches. En permettant diverses applications, notamment la composition multi-objectif, le changement de dynamique et le changement de politique continu, les résultats sur les benchmarks D4RL, DSRL et la DeepMind Control Suite montrent que PSEC présente une capacité supérieure à exploiter les connaissances antérieures pour relever efficacement de nouveaux défis, ainsi qu'à étendre ses bibliothèques de compétences pour faire évoluer les capacités. Site web du projet : https://ltlhuuu.github.io/PSEC/.

English

Humans excel at reusing prior knowledge to address new challenges and developing skills while solving problems. This paradigm becomes increasingly popular in the development of autonomous agents, as it develops systems that can self-evolve in response to new challenges like human beings. However, previous methods suffer from limited training efficiency when expanding new skills and fail to fully leverage prior knowledge to facilitate new task learning. In this paper, we propose Parametric Skill Expansion and Composition (PSEC), a new framework designed to iteratively evolve the agents' capabilities and efficiently address new challenges by maintaining a manageable skill library. This library can progressively integrate skill primitives as plug-and-play Low-Rank Adaptation (LoRA) modules in parameter-efficient finetuning, facilitating efficient and flexible skill expansion. This structure also enables the direct skill compositions in parameter space by merging LoRA modules that encode different skills, leveraging shared information across skills to effectively program new skills. Based on this, we propose a context-aware module to dynamically activate different skills to collaboratively handle new tasks. Empowering diverse applications including multi-objective composition, dynamics shift, and continual policy shift, the results on D4RL, DSRL benchmarks, and the DeepMind Control Suite show that PSEC exhibits superior capacity to leverage prior knowledge to efficiently tackle new challenges, as well as expand its skill libraries to evolve the capabilities. Project website: https://ltlhuuu.github.io/PSEC/.