Skalierung des kontinuierlichen Lernens auf über 300 Aufgaben mit zweistufigem Routing Mixture-of-Experts
Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts
May 8, 2026
Autoren: Meng Lou, Yunxiang Fu, Yizhou Yu
cs.AI
Zusammenfassung
Kontinuierliches Lernen, insbesondere klasseninkrementelles Lernen (CIL), auf der Grundlage eines vorab trainierten Modells (PTM) hat in den letzten Jahren erhebliches Forschungsinteresse geweckt. Dennoch bleibt die Frage offen, wie sowohl diskriminative als auch umfassende Merkmalsrepräsentationen effektiv erlernt werden können, während über sehr lange Aufgabenfolgen hinweg Stabilität und Plastizität erhalten bleiben. Wir stellen CaRE vor, einen skalierbaren {C}ontinu{o}us {Le}a{rner} mit effizienter {B}i-{L}evel {R}outing-{M}ixture-of-{E}xperts (BR-MoE). Die Kernidee von BR-MoE ist ein zweistufiger Routing-Mechanismus: eine Router-Auswahlphase, die dynamisch relevante aufgabenspezifische Router aktiviert, gefolgt von einer Experten-Routingphase, die dynamisch Experten aktiviert und aggregiert, um diskriminative und umfassende Repräsentationen in jede Zwischenschicht des Netzwerks einzubringen. Darüber hinaus führen wir einen anspruchsvollen Datensatz, OmniBenchmark-1K, zur Bewertung der CIL-Leistung auf sehr langen Aufgabenfolgen mit Hunderten von Aufgaben ein. Umfangreiche Experimente zeigen, dass CaREE auf einer Vielzahl von Datensätzen und Aufgabeneinstellungen, einschließlich häufig verwendeter CIL-Datensätze mit klassischen CIL-Einstellungen (z. B. 5–20 Aufgaben), führende Leistungen erzielt. Nach unserem besten Wissen ist CaRE der erste kontinuierliche Lerner, der auf sehr lange Aufgabenfolgen (von 100 bis über 300 nicht überlappende Aufgaben) skaliert und dabei alle Basislinien auf solchen Aufgabenfolgen mit großem Abstand übertrifft. Wir hoffen, dass diese Arbeit weitere Forschung zum kontinuierlichen Lernen über extrem lange Aufgabenfolgen anregen wird. Code und Datensatz sind öffentlich verfügbar unter https://github.com/LMMMEng/CaRE.
English
Continual learning, especially class-incremental learning (CIL), on the basis of a pre-trained model (PTM) has garnered substantial research interest in recent years. However, how to effectively learn both discriminative and comprehensive feature representations while maintaining stability and plasticity over very long task sequences remains an open problem. We propose CaRE, a scalable {C}ontinual Le{a}rner with efficient Bi-Level {R}outing Mixture-of-{E}xperts (BR-MoE). The core idea of BR-MoE is a bi-level routing mechanism: a router selection stage that dynamically activates relevant task-specific routers, followed by an expert routing phase that dynamically activates and aggregates experts, aiming to inject discriminative and comprehensive representations into every intermediate network layer. On the other hand, we introduce a challenging dataset, OmniBenchmark-1K, for CIL performance evaluation on very long task sequences with hundreds of tasks. Extensive experiments show that CaRE demonstrates leading performance across a variety of datasets and task settings, including commonly used CIL datasets with classical CIL settings (e.g., 5-20 tasks). To the best of our knowledge, CaRE is the first continual learner that scales to very long task sequences (ranging from 100 to over 300 non-overlapping tasks), while outperforming all baselines by a large margin on such task sequences. We hope that this work will inspire further research into continual learning over extremely long task sequences. Code and dataset are publicly released at https://github.com/LMMMEng/CaRE.