Масштабирование непрерывного обучения до 300+ задач с помощью двухуровневой маршрутизации смеси экспертов

Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts

May 8, 2026

Авторы: Meng Lou, Yunxiang Fu, Yizhou Yu

cs.AI

Аннотация

Непрерывное обучение, особенно инкрементное обучение классам (CIL), на основе предобученной модели (PTM) привлекает значительный исследовательский интерес в последние годы. Однако остается открытой проблема эффективного изучения как дискриминантных, так и всесторонних представлений признаков при сохранении стабильности и пластичности в очень длинных последовательностях задач. Мы предлагаем CaRE — масштабируемый алгоритм непрерывного обучения с эффективной двухуровневой маршрутизацией смеси экспертов (BR-MoE). Ключевая идея BR-MoE заключается в двухуровневом механизме маршрутизации: этап выбора маршрутизатора, который динамически активирует релевантные специализированные маршрутизаторы для конкретных задач, за которым следует фаза маршрутизации экспертов, динамически активирующая и агрегирующая экспертов с целью внедрения дискриминантных и всесторонних представлений в каждый промежуточный слой сети. С другой стороны, мы представляем сложный набор данных OmniBenchmark-1K для оценки производительности CIL на очень длинных последовательностях задач, насчитывающих сотни задач. Обширные эксперименты показывают, что CaRE демонстрирует лидирующую производительность на различных наборах данных и конфигурациях задач, включая широко используемые наборы данных CIL с классическими настройками CIL (например, 5–20 задач). Насколько нам известно, CaRE является первым алгоритмом непрерывного обучения, который масштабируется на очень длинные последовательности задач (от 100 до более 300 непересекающихся задач), при этом значительно превосходя все базовые методы на таких последовательностях. Мы надеемся, что данная работа вдохновит дальнейшие исследования в области непрерывного обучения на чрезвычайно длинных последовательностях задач. Код и набор данных опубликованы по адресу https://github.com/LMMMEng/CaRE.

English

Continual learning, especially class-incremental learning (CIL), on the basis of a pre-trained model (PTM) has garnered substantial research interest in recent years. However, how to effectively learn both discriminative and comprehensive feature representations while maintaining stability and plasticity over very long task sequences remains an open problem. We propose CaRE, a scalable {C}ontinual Le{a}rner with efficient Bi-Level {R}outing Mixture-of-{E}xperts (BR-MoE). The core idea of BR-MoE is a bi-level routing mechanism: a router selection stage that dynamically activates relevant task-specific routers, followed by an expert routing phase that dynamically activates and aggregates experts, aiming to inject discriminative and comprehensive representations into every intermediate network layer. On the other hand, we introduce a challenging dataset, OmniBenchmark-1K, for CIL performance evaluation on very long task sequences with hundreds of tasks. Extensive experiments show that CaRE demonstrates leading performance across a variety of datasets and task settings, including commonly used CIL datasets with classical CIL settings (e.g., 5-20 tasks). To the best of our knowledge, CaRE is the first continual learner that scales to very long task sequences (ranging from 100 to over 300 non-overlapping tasks), while outperforming all baselines by a large margin on such task sequences. We hope that this work will inspire further research into continual learning over extremely long task sequences. Code and dataset are publicly released at https://github.com/LMMMEng/CaRE.