Opschaling van Continu Leren naar 300+ Taken met Bi-Level Routering Mengsel van Experts

Samenvatting

Continu leren, met name klasse-incrementeel leren (CIL) op basis van een voorgetraind model (PTM), heeft de afgelopen jaren aanzienlijke onderzoeksbelangstelling gekregen. Het blijft echter een open probleem hoe zowel onderscheidende als uitgebreide kenmerkrepresentaties effectief kunnen worden geleerd, terwijl stabiliteit en plasticiteit over zeer lange taakreeksen behouden blijven. Wij stellen CaRE voor, een schaalbare continue lerende met efficiënte Bi-Level Routing Mixture-of-Experts (BR-MoE). Het kernidee van BR-MoE is een mechanisme met twee niveaus van routering: een routerselectiefase die dynamisch relevante taakspecifieke routers activeert, gevolgd door een expertrouteringsfase die dynamisch experts activeert en aggregeert, met als doel onderscheidende en uitgebreide representaties in elke tussenliggende netwerklaag in te brengen. Daarnaast introduceren we een uitdagende dataset, OmniBenchmark-1K, voor prestatie-evaluatie van CIL op zeer lange taakreeksen met honderden taken. Uitgebreide experimenten tonen aan dat CaARE toonaangevende prestaties levert op een verscheidenheid aan datasets en taakinstellingen, waaronder veelgebruikte CIL-datasets met klassieke CIL-instellingen (bijv. 5-20 taken). Voor zover wij weten, is CaRE de eerste continue lerende die schaalt naar zeer lange taakreeksen (variërend van 100 tot meer dan 300 niet-overlappende taken), terwijl het alle basislijnen met een ruime marge overtreft op dergelijke taakreeksen. We hopen dat dit werk verder onderzoek naar continu leren over extreem lange taakreeksen zal inspireren. Code en dataset zijn openbaar beschikbaar op https://github.com/LMMMEng/CaRE.

English

Continual learning, especially class-incremental learning (CIL), on the basis of a pre-trained model (PTM) has garnered substantial research interest in recent years. However, how to effectively learn both discriminative and comprehensive feature representations while maintaining stability and plasticity over very long task sequences remains an open problem. We propose CaRE, a scalable {C}ontinual Le{a}rner with efficient Bi-Level {R}outing Mixture-of-{E}xperts (BR-MoE). The core idea of BR-MoE is a bi-level routing mechanism: a router selection stage that dynamically activates relevant task-specific routers, followed by an expert routing phase that dynamically activates and aggregates experts, aiming to inject discriminative and comprehensive representations into every intermediate network layer. On the other hand, we introduce a challenging dataset, OmniBenchmark-1K, for CIL performance evaluation on very long task sequences with hundreds of tasks. Extensive experiments show that CaRE demonstrates leading performance across a variety of datasets and task settings, including commonly used CIL datasets with classical CIL settings (e.g., 5-20 tasks). To the best of our knowledge, CaRE is the first continual learner that scales to very long task sequences (ranging from 100 to over 300 non-overlapping tasks), while outperforming all baselines by a large margin on such task sequences. We hope that this work will inspire further research into continual learning over extremely long task sequences. Code and dataset are publicly released at https://github.com/LMMMEng/CaRE.