Expansão de Habilidade e Composição no Espaço de Parâmetros

Skill Expansion and Composition in Parameter Space

February 9, 2025

Autores: Tenglong Liu, Jianxiong Li, Yinan Zheng, Haoyi Niu, Yixing Lan, Xin Xu, Xianyuan Zhan

cs.AI

Resumo

Os humanos destacam-se na reutilização de conhecimento prévio para enfrentar novos desafios e desenvolver habilidades enquanto resolvem problemas. Esse paradigma torna-se cada vez mais popular no desenvolvimento de agentes autônomos, pois cria sistemas que podem autoevoluir em resposta a novos desafios, como os seres humanos. No entanto, métodos anteriores sofrem com eficiência limitada de treinamento ao expandir novas habilidades e falham em aproveitar totalmente o conhecimento prévio para facilitar a aprendizagem de novas tarefas. Neste artigo, propomos a Expansão e Composição de Habilidades Paramétricas (PSEC), um novo framework projetado para evoluir iterativamente as capacidades dos agentes e abordar eficientemente novos desafios ao manter uma biblioteca de habilidades gerenciável. Esta biblioteca pode integrar progressivamente primitivas de habilidades como módulos de Adaptação de Baixo Rank (LoRA) plug-and-play em ajustes finos eficientes em parâmetros, facilitando a expansão eficiente e flexível de habilidades. Essa estrutura também permite composições diretas de habilidades no espaço de parâmetros, fundindo módulos LoRA que codificam diferentes habilidades, aproveitando informações compartilhadas entre habilidades para programar efetivamente novas habilidades. Com base nisso, propomos um módulo sensível ao contexto para ativar dinamicamente diferentes habilidades para lidar colaborativamente com novas tarefas. Capacitando diversas aplicações, incluindo composição multiobjetivo, mudança de dinâmica e mudança contínua de políticas, os resultados nos benchmarks D4RL, DSRL e DeepMind Control Suite mostram que o PSEC exibe capacidade superior de aproveitar o conhecimento prévio para enfrentar eficientemente novos desafios, além de expandir suas bibliotecas de habilidades para evoluir as capacidades. Website do projeto: https://ltlhuuu.github.io/PSEC/.

English

Humans excel at reusing prior knowledge to address new challenges and developing skills while solving problems. This paradigm becomes increasingly popular in the development of autonomous agents, as it develops systems that can self-evolve in response to new challenges like human beings. However, previous methods suffer from limited training efficiency when expanding new skills and fail to fully leverage prior knowledge to facilitate new task learning. In this paper, we propose Parametric Skill Expansion and Composition (PSEC), a new framework designed to iteratively evolve the agents' capabilities and efficiently address new challenges by maintaining a manageable skill library. This library can progressively integrate skill primitives as plug-and-play Low-Rank Adaptation (LoRA) modules in parameter-efficient finetuning, facilitating efficient and flexible skill expansion. This structure also enables the direct skill compositions in parameter space by merging LoRA modules that encode different skills, leveraging shared information across skills to effectively program new skills. Based on this, we propose a context-aware module to dynamically activate different skills to collaboratively handle new tasks. Empowering diverse applications including multi-objective composition, dynamics shift, and continual policy shift, the results on D4RL, DSRL benchmarks, and the DeepMind Control Suite show that PSEC exhibits superior capacity to leverage prior knowledge to efficiently tackle new challenges, as well as expand its skill libraries to evolve the capabilities. Project website: https://ltlhuuu.github.io/PSEC/.