Adapter avant l'apprentissage continu

Adapt before Continual Learning

June 4, 2025

Auteurs: Aojun Lu, Tao Feng, Hangjie Yuan, Chunhui Ding, Yanan Sun

cs.AI

Résumé

L'apprentissage continu (Continual Learning, CL) vise à permettre aux réseaux de neurones d'acquérir de nouvelles connaissances de manière incrémentale (plasticité) tout en conservant les connaissances existantes (stabilité). Bien que les modèles pré-entraînés (Pre-trained Models, PTMs) soient devenus essentiels dans le CL, les approches dominantes figent l'architecture principale des PTMs pour préserver la stabilité, limitant ainsi leur plasticité, en particulier lorsqu'ils sont confrontés à des écarts de domaine significatifs dans les tâches incrémentales. À l'inverse, le réglage fin séquentiel de l'ensemble du PTM risque d'entraîner un oubli catastrophique des connaissances généralisables, révélant un compromis critique entre stabilité et plasticité. Pour relever ce défi, nous proposons Adapting PTMs before the core CL process (ACL), un cadre novateur qui affine l'architecture principale des PTMs grâce à une phase d'adaptation plug-and-play avant l'apprentissage de chaque nouvelle tâche avec les approches de CL existantes (par exemple, le réglage par prompts). ACL améliore la plasticité en alignant les embeddings avec leurs prototypes de classe d'origine tout en les éloignant des autres, ce qui, théoriquement et empiriquement, permet d'équilibrer stabilité et plasticité. Des expériences approfondies démontrent qu'ACL améliore significativement les performances du CL sur divers benchmarks et méthodes intégrées, offrant ainsi une solution polyvalente pour le CL basé sur les PTMs.

English

Continual Learning (CL) seeks to enable neural networks to incrementally acquire new knowledge (plasticity) while retaining existing knowledge (stability). While pre-trained models (PTMs) have become pivotal in CL, prevailing approaches freeze the PTM backbone to preserve stability, limiting their plasticity, particularly when encountering significant domain gaps in incremental tasks. Conversely, sequentially finetuning the entire PTM risks catastrophic forgetting of generalizable knowledge, exposing a critical stability-plasticity trade-off. To address this challenge, we propose Adapting PTMs before the core CL process (ACL), a novel framework that refines the PTM backbone through a plug-and-play adaptation phase before learning each new task with existing CL approaches (e.g., prompt tuning). ACL enhances plasticity by aligning embeddings with their original class prototypes while distancing them from others, theoretically and empirically shown to balance stability and plasticity. Extensive experiments demonstrate that ACL significantly improves CL performance across benchmarks and integrated methods, offering a versatile solution for PTM-based CL.