Fähigkeitserweiterung und Zusammensetzung im Parameterbereich

Skill Expansion and Composition in Parameter Space

February 9, 2025

Autoren: Tenglong Liu, Jianxiong Li, Yinan Zheng, Haoyi Niu, Yixing Lan, Xin Xu, Xianyuan Zhan

cs.AI

Zusammenfassung

Menschen sind besonders gut darin, früheres Wissen wiederzuverwenden, um neue Herausforderungen anzugehen und Fähigkeiten zu entwickeln, während sie Probleme lösen. Dieses Paradigma wird zunehmend beliebt bei der Entwicklung autonomer Agenten, da es Systeme entwickelt, die sich selbstständig weiterentwickeln können, um auf neue Herausforderungen wie Menschen zu reagieren. Bisherige Methoden leiden jedoch unter begrenzter Trainingseffizienz bei der Erweiterung neuer Fähigkeiten und nutzen das frühere Wissen nicht vollständig aus, um das Erlernen neuer Aufgaben zu erleichtern. In diesem Papier schlagen wir Parametric Skill Expansion and Composition (PSEC) vor, ein neues Framework, das darauf abzielt, die Fähigkeiten der Agenten iterativ weiterzuentwickeln und neue Herausforderungen effizient anzugehen, indem eine überschaubare Fähigkeitenbibliothek aufrechterhalten wird. Diese Bibliothek kann schrittweise Fähigkeitsprimitive als Plug-and-Play Low-Rank Adaptation (LoRA)-Module in parameter-effizientes Feintuning integrieren, um eine effiziente und flexible Fähigkeitserweiterung zu ermöglichen. Diese Struktur ermöglicht auch direkte Fähigkeitskompositionen im Parameterbereich durch das Zusammenführen von LoRA-Modulen, die verschiedene Fähigkeiten codieren, und nutzt gemeinsame Informationen über Fähigkeiten hinweg, um neue Fähigkeiten effektiv zu programmieren. Basierend darauf schlagen wir ein kontextbewusstes Modul vor, um unterschiedliche Fähigkeiten dynamisch zu aktivieren, um gemeinsam neue Aufgaben zu bewältigen. Durch die Stärkung verschiedener Anwendungen, einschließlich mehrerer Zielsetzungskompositionen, Dynamikverschiebung und kontinuierlicher Richtlinienverschiebung, zeigen die Ergebnisse auf D4RL, DSRL-Benchmarks und der DeepMind Control Suite, dass PSEC eine überlegene Fähigkeit aufweist, früheres Wissen effizient zu nutzen, um neue Herausforderungen zu bewältigen und die Fähigkeitenbibliotheken zu erweitern, um die Fähigkeiten weiterzuentwickeln. Projekthomepage: https://ltlhuuu.github.io/PSEC/.

English

Humans excel at reusing prior knowledge to address new challenges and developing skills while solving problems. This paradigm becomes increasingly popular in the development of autonomous agents, as it develops systems that can self-evolve in response to new challenges like human beings. However, previous methods suffer from limited training efficiency when expanding new skills and fail to fully leverage prior knowledge to facilitate new task learning. In this paper, we propose Parametric Skill Expansion and Composition (PSEC), a new framework designed to iteratively evolve the agents' capabilities and efficiently address new challenges by maintaining a manageable skill library. This library can progressively integrate skill primitives as plug-and-play Low-Rank Adaptation (LoRA) modules in parameter-efficient finetuning, facilitating efficient and flexible skill expansion. This structure also enables the direct skill compositions in parameter space by merging LoRA modules that encode different skills, leveraging shared information across skills to effectively program new skills. Based on this, we propose a context-aware module to dynamically activate different skills to collaboratively handle new tasks. Empowering diverse applications including multi-objective composition, dynamics shift, and continual policy shift, the results on D4RL, DSRL benchmarks, and the DeepMind Control Suite show that PSEC exhibits superior capacity to leverage prior knowledge to efficiently tackle new challenges, as well as expand its skill libraries to evolve the capabilities. Project website: https://ltlhuuu.github.io/PSEC/.