Expansión de habilidades y composición en el espacio de parámetros

Skill Expansion and Composition in Parameter Space

February 9, 2025

Autores: Tenglong Liu, Jianxiong Li, Yinan Zheng, Haoyi Niu, Yixing Lan, Xin Xu, Xianyuan Zhan

cs.AI

Resumen

Los humanos destacan en reutilizar conocimientos previos para abordar nuevos desafíos y desarrollar habilidades mientras resuelven problemas. Este paradigma se vuelve cada vez más popular en el desarrollo de agentes autónomos, ya que crea sistemas que pueden autoevolucionar en respuesta a nuevos desafíos como lo hacen los seres humanos. Sin embargo, los métodos anteriores sufren de una eficiencia de entrenamiento limitada al expandir nuevas habilidades y no logran aprovechar completamente el conocimiento previo para facilitar el aprendizaje de nuevas tareas. En este documento, proponemos Expansión y Composición de Habilidades Paramétricas (PSEC), un nuevo marco diseñado para evolucionar de forma iterativa las capacidades de los agentes y abordar eficientemente nuevos desafíos al mantener una biblioteca de habilidades manejable. Esta biblioteca puede integrar progresivamente primitivas de habilidades como módulos de Adaptación de Bajo Rango (LoRA) plug-and-play en un ajuste fino eficiente en parámetros, facilitando una expansión de habilidades eficiente y flexible. Esta estructura también permite las composiciones directas de habilidades en el espacio de parámetros al fusionar módulos LoRA que codifican diferentes habilidades, aprovechando la información compartida entre habilidades para programar eficazmente nuevas habilidades. Basándonos en esto, proponemos un módulo consciente del contexto para activar dinámicamente diferentes habilidades y abordar colaborativamente nuevas tareas. Potenciando diversas aplicaciones que incluyen composición multiobjetivo, cambio de dinámicas y cambio continuo de políticas, los resultados en D4RL, DSRL y en la DeepMind Control Suite muestran que PSEC exhibe una capacidad superior para aprovechar el conocimiento previo y abordar eficientemente nuevos desafíos, así como expandir sus bibliotecas de habilidades para evolucionar las capacidades. Sitio web del proyecto: https://ltlhuuu.github.io/PSEC/.

English

Humans excel at reusing prior knowledge to address new challenges and developing skills while solving problems. This paradigm becomes increasingly popular in the development of autonomous agents, as it develops systems that can self-evolve in response to new challenges like human beings. However, previous methods suffer from limited training efficiency when expanding new skills and fail to fully leverage prior knowledge to facilitate new task learning. In this paper, we propose Parametric Skill Expansion and Composition (PSEC), a new framework designed to iteratively evolve the agents' capabilities and efficiently address new challenges by maintaining a manageable skill library. This library can progressively integrate skill primitives as plug-and-play Low-Rank Adaptation (LoRA) modules in parameter-efficient finetuning, facilitating efficient and flexible skill expansion. This structure also enables the direct skill compositions in parameter space by merging LoRA modules that encode different skills, leveraging shared information across skills to effectively program new skills. Based on this, we propose a context-aware module to dynamically activate different skills to collaboratively handle new tasks. Empowering diverse applications including multi-objective composition, dynamics shift, and continual policy shift, the results on D4RL, DSRL benchmarks, and the DeepMind Control Suite show that PSEC exhibits superior capacity to leverage prior knowledge to efficiently tackle new challenges, as well as expand its skill libraries to evolve the capabilities. Project website: https://ltlhuuu.github.io/PSEC/.