Расширение навыков и композиция в пространстве параметров

Skill Expansion and Composition in Parameter Space

February 9, 2025

Авторы: Tenglong Liu, Jianxiong Li, Yinan Zheng, Haoyi Niu, Yixing Lan, Xin Xu, Xianyuan Zhan

cs.AI

Аннотация

Люди отличаются способностью повторно использовать предыдущие знания для решения новых задач и развития навыков в процессе решения проблем. Этот подход становится все более популярным в разработке автономных агентов, поскольку он позволяет создавать системы, способные самостоятельно эволюционировать в ответ на новые вызовы, подобно человеку. Однако существующие методы сталкиваются с ограниченной эффективностью обучения при расширении новых навыков и не полностью используют предыдущие знания для облегчения обучения новым задачам. В данной статье мы предлагаем Параметрическое Расширение и Композицию Навыков (PSEC) - новую концепцию, разработанную для итеративного развития возможностей агентов и эффективного решения новых вызовов путем поддержания управляемой библиотеки навыков. Эта библиотека может постепенно интегрировать навыковые примитивы в виде модулей низкоранговой адаптации (LoRA) "подключи и играй" при параметрически эффективной донастройке, облегчая эффективное и гибкое расширение навыков. Такая структура также позволяет прямое объединение навыков в пространстве параметров путем слияния модулей LoRA, кодирующих различные навыки, что позволяет эффективно программировать новые навыки, используя общую информацию между навыками. На основе этого мы предлагаем модуль, способный динамически активировать различные навыки для совместного решения новых задач. Обладая разнообразными применениями, включая многокритериальную композицию, изменение динамики и непрерывное изменение стратегии, результаты на наборах данных D4RL, DSRL и пакете управления DeepMind показывают, что PSEC обладает превосходной способностью использовать предыдущие знания для эффективного решения новых вызовов, а также расширять свою библиотеку навыков для развития возможностей. Веб-сайт проекта: https://ltlhuuu.github.io/PSEC/.

English

Humans excel at reusing prior knowledge to address new challenges and developing skills while solving problems. This paradigm becomes increasingly popular in the development of autonomous agents, as it develops systems that can self-evolve in response to new challenges like human beings. However, previous methods suffer from limited training efficiency when expanding new skills and fail to fully leverage prior knowledge to facilitate new task learning. In this paper, we propose Parametric Skill Expansion and Composition (PSEC), a new framework designed to iteratively evolve the agents' capabilities and efficiently address new challenges by maintaining a manageable skill library. This library can progressively integrate skill primitives as plug-and-play Low-Rank Adaptation (LoRA) modules in parameter-efficient finetuning, facilitating efficient and flexible skill expansion. This structure also enables the direct skill compositions in parameter space by merging LoRA modules that encode different skills, leveraging shared information across skills to effectively program new skills. Based on this, we propose a context-aware module to dynamically activate different skills to collaboratively handle new tasks. Empowering diverse applications including multi-objective composition, dynamics shift, and continual policy shift, the results on D4RL, DSRL benchmarks, and the DeepMind Control Suite show that PSEC exhibits superior capacity to leverage prior knowledge to efficiently tackle new challenges, as well as expand its skill libraries to evolve the capabilities. Project website: https://ltlhuuu.github.io/PSEC/.