Aanpassen voor Continue Leren

Samenvatting

Continual Learning (CL) streeft ernaar neurale netwerken in staat te stellen om geleidelijk nieuwe kennis te verwerven (plasticiteit) terwijl bestaande kennis behouden blijft (stabiliteit). Hoewel vooraf getrainde modellen (PTMs) een cruciale rol spelen in CL, bevriezen gangbare benaderingen de PTM-backbone om stabiliteit te behouden, wat hun plasticiteit beperkt, vooral bij het tegenkomen van aanzienlijke domeinkloven in incrementele taken. Aan de andere kant loopt het sequentieel finetunen van het gehele PTM het risico van catastrofaal vergeten van generaliseerbare kennis, wat een kritische afweging tussen stabiliteit en plasticiteit blootlegt. Om deze uitdaging aan te pakken, stellen we Adapting PTMs before the core CL process (ACL) voor, een nieuw raamwerk dat de PTM-backbone verfijnt door een plug-and-play aanpassingsfase voordat elk nieuwe taak wordt geleerd met bestaande CL-benaderingen (bijvoorbeeld prompt tuning). ACL verbetert de plasticiteit door embeddings af te stemmen op hun oorspronkelijke klasseprototypen terwijl ze worden gescheiden van andere, wat theoretisch en empirisch is aangetoond om stabiliteit en plasticiteit in balans te brengen. Uitgebreide experimenten tonen aan dat ACL de CL-prestaties aanzienlijk verbetert op benchmarks en geïntegreerde methoden, en biedt zo een veelzijdige oplossing voor PTM-gebaseerde CL.

English

Continual Learning (CL) seeks to enable neural networks to incrementally acquire new knowledge (plasticity) while retaining existing knowledge (stability). While pre-trained models (PTMs) have become pivotal in CL, prevailing approaches freeze the PTM backbone to preserve stability, limiting their plasticity, particularly when encountering significant domain gaps in incremental tasks. Conversely, sequentially finetuning the entire PTM risks catastrophic forgetting of generalizable knowledge, exposing a critical stability-plasticity trade-off. To address this challenge, we propose Adapting PTMs before the core CL process (ACL), a novel framework that refines the PTM backbone through a plug-and-play adaptation phase before learning each new task with existing CL approaches (e.g., prompt tuning). ACL enhances plasticity by aligning embeddings with their original class prototypes while distancing them from others, theoretically and empirically shown to balance stability and plasticity. Extensive experiments demonstrate that ACL significantly improves CL performance across benchmarks and integrated methods, offering a versatile solution for PTM-based CL.

Aanpassen voor Continue Leren

Adapt before Continual Learning

Samenvatting

Support