DriftMoE: Подход на основе ансамбля экспертов для обработки концептуальных сдвигов

DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts

July 24, 2025

Авторы: Miguel Aspis, Sebastián A. Cajas Ordónez, Andrés L. Suárez-Cetrulo, Ricardo Simón Carbajo

cs.AI

Аннотация

Обучение на нестационарных потоках данных, подверженных концептуальному дрейфу, требует моделей, которые могут адаптироваться на лету, оставаясь при этом ресурсоэффективными. Существующие адаптивные ансамблевые методы часто полагаются на грубые механизмы адаптации или простые схемы голосования, которые не позволяют оптимально использовать специализированные знания. В данной статье представлена DriftMoE — онлайн-архитектура "Смеси экспертов" (Mixture-of-Experts, MoE), которая устраняет эти ограничения с помощью новой совместной обучающей структуры. DriftMoE включает компактный нейронный маршрутизатор, который обучается совместно с пулом инкрементных экспертов на основе деревьев Хефдинга. Ключевая инновация заключается в симбиотическом обучающем цикле, который способствует специализации экспертов: маршрутизатор выбирает наиболее подходящего эксперта для прогнозирования, соответствующие эксперты обновляются инкрементно с использованием истинного значения метки, а маршрутизатор уточняет свои параметры с помощью многозначной маски корректности, которая усиливает каждого точного эксперта. Этот цикл обратной связи предоставляет маршрутизатору четкий обучающий сигнал, одновременно ускоряя специализацию экспертов. Мы оцениваем производительность DriftMoE на девяти современных бенчмарках для обучения на потоках данных, охватывающих резкий, постепенный и реальный дрейф, тестируя две различные конфигурации: одну, где эксперты специализируются на режимах данных (многоклассовый вариант), и другую, где они фокусируются на специализации по одному классу (задачно-ориентированный вариант). Наши результаты показывают, что DriftMoE достигает конкурентоспособных результатов с современными адаптивными ансамблями для потокового обучения, предлагая принципиальный и эффективный подход к адаптации к концептуальному дрейфу. Весь код, конвейеры данных и скрипты для воспроизводимости доступны в нашем публичном репозитории GitHub: https://github.com/miguel-ceadar/drift-moe.

English

Learning from non-stationary data streams subject to concept drift requires models that can adapt on-the-fly while remaining resource-efficient. Existing adaptive ensemble methods often rely on coarse-grained adaptation mechanisms or simple voting schemes that fail to optimally leverage specialized knowledge. This paper introduces DriftMoE, an online Mixture-of-Experts (MoE) architecture that addresses these limitations through a novel co-training framework. DriftMoE features a compact neural router that is co-trained alongside a pool of incremental Hoeffding tree experts. The key innovation lies in a symbiotic learning loop that enables expert specialization: the router selects the most suitable expert for prediction, the relevant experts update incrementally with the true label, and the router refines its parameters using a multi-hot correctness mask that reinforces every accurate expert. This feedback loop provides the router with a clear training signal while accelerating expert specialization. We evaluate DriftMoE's performance across nine state-of-the-art data stream learning benchmarks spanning abrupt, gradual, and real-world drifts testing two distinct configurations: one where experts specialize on data regimes (multi-class variant), and another where they focus on single-class specialization (task-based variant). Our results demonstrate that DriftMoE achieves competitive results with state-of-the-art stream learning adaptive ensembles, offering a principled and efficient approach to concept drift adaptation. All code, data pipelines, and reproducibility scripts are available in our public GitHub repository: https://github.com/miguel-ceadar/drift-moe.