Extension de l'apprentissage continu à plus de 300 tâches avec un mélange d'experts à routage bi-niveau

Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts

May 8, 2026

Auteurs: Meng Lou, Yunxiang Fu, Yizhou Yu

cs.AI

Résumé

L'apprentissage continu, en particulier l'apprentissage incrémental par classes (CIL), sur la base d'un modèle pré-entraîné (PTM), a suscité un intérêt de recherche considérable ces dernières années. Cependant, la manière d'apprendre efficacement des représentations de caractéristiques à la fois discriminatives et complètes tout en maintenant la stabilité et la plasticité sur de très longues séquences de tâches reste un problème ouvert. Nous proposons CaRE, un apprenant continu évolutif doté d'un mélange efficace d'experts à routage à deux niveaux (BR-MoE). L'idée centrale de BR-MoE est un mécanisme de routage à deux niveaux : une étape de sélection de routeurs qui active dynamiquement les routeurs spécifiques aux tâches pertinents, suivie d'une phase de routage d'experts qui active et agrège dynamiquement les experts, visant à injecter des représentations discriminatives et complètes dans chaque couche intermédiaire du réseau. Par ailleurs, nous introduisons un jeu de données exigeant, OmniBenchmark-1K, pour l'évaluation des performances CIL sur de très longues séquences de tâches comportant des centaines de tâches. Des expériences approfondies montrent que CaRE atteint des performances de premier plan sur une variété de jeux de données et de configurations de tâches, y compris les jeux de données CIL couramment utilisés avec des configurations CIL classiques (par exemple, 5 à 20 tâches). À notre connaissance, CaRE est le premier apprenant continu capable de passer à l'échelle sur de très longues séquences de tâches (allant de 100 à plus de 300 tâches non chevauchantes), tout en surpassant largement toutes les méthodes de base sur ces séquences. Nous espérons que ce travail inspirera davantage de recherches sur l'apprentissage continu sur des séquences de tâches extrêmement longues. Le code et le jeu de données sont mis à disposition publiquement à l'adresse https://github.com/LMMMEng/CaRE.

English

Continual learning, especially class-incremental learning (CIL), on the basis of a pre-trained model (PTM) has garnered substantial research interest in recent years. However, how to effectively learn both discriminative and comprehensive feature representations while maintaining stability and plasticity over very long task sequences remains an open problem. We propose CaRE, a scalable {C}ontinual Le{a}rner with efficient Bi-Level {R}outing Mixture-of-{E}xperts (BR-MoE). The core idea of BR-MoE is a bi-level routing mechanism: a router selection stage that dynamically activates relevant task-specific routers, followed by an expert routing phase that dynamically activates and aggregates experts, aiming to inject discriminative and comprehensive representations into every intermediate network layer. On the other hand, we introduce a challenging dataset, OmniBenchmark-1K, for CIL performance evaluation on very long task sequences with hundreds of tasks. Extensive experiments show that CaRE demonstrates leading performance across a variety of datasets and task settings, including commonly used CIL datasets with classical CIL settings (e.g., 5-20 tasks). To the best of our knowledge, CaRE is the first continual learner that scales to very long task sequences (ranging from 100 to over 300 non-overlapping tasks), while outperforming all baselines by a large margin on such task sequences. We hope that this work will inspire further research into continual learning over extremely long task sequences. Code and dataset are publicly released at https://github.com/LMMMEng/CaRE.