DriftMoE: Een Mixture of Experts-benadering voor het omgaan met conceptdrift

DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts

July 24, 2025

Auteurs: Miguel Aspis, Sebastián A. Cajas Ordónez, Andrés L. Suárez-Cetrulo, Ricardo Simón Carbajo

cs.AI

Samenvatting

Leren van niet-stationaire datastromen die onderhevig zijn aan conceptdrift vereist modellen die zich on-the-fly kunnen aanpassen terwijl ze resource-efficiënt blijven. Bestaande adaptieve ensemblemethoden vertrouwen vaak op grofkorrelige aanpassingsmechanismen of eenvoudige stemschema's die gespecialiseerde kennis niet optimaal benutten. Dit artikel introduceert DriftMoE, een online Mixture-of-Experts (MoE)-architectuur die deze beperkingen aanpakt via een nieuw co-trainingsraamwerk. DriftMoE beschikt over een compacte neurale router die samen wordt getraind met een pool van incrementele Hoeffding tree-experts. De belangrijkste innovatie ligt in een symbiotische leerlus die expertspecialisatie mogelijk maakt: de router selecteert de meest geschikte expert voor voorspelling, de relevante experts werken incrementeel bij met het ware label, en de router verfijnt zijn parameters met behulp van een multi-hot correctheidsmasker dat elke nauwkeurige expert versterkt. Deze feedbacklus biedt de router een duidelijk trainingssignaal terwijl het expertspecialisatie versnelt. We evalueren de prestaties van DriftMoE over negen state-of-the-art datastroomleerbenchmarks die abrupte, geleidelijke en real-world driften omvatten, waarbij we twee verschillende configuraties testen: één waarbij experts zich specialiseren op dataregimes (multi-class variant), en een andere waarbij ze zich richten op single-class specialisatie (taakgebaseerde variant). Onze resultaten tonen aan dat DriftMoE competitieve resultaten behaalt met state-of-the-art adaptieve ensembles voor stroomleren, en biedt een principiële en efficiënte aanpak voor conceptdrift-aanpassing. Alle code, datapijplijnen en reproduceerbaarheidsscripts zijn beschikbaar in ons openbare GitHub-repository: https://github.com/miguel-ceadar/drift-moe.

English

Learning from non-stationary data streams subject to concept drift requires models that can adapt on-the-fly while remaining resource-efficient. Existing adaptive ensemble methods often rely on coarse-grained adaptation mechanisms or simple voting schemes that fail to optimally leverage specialized knowledge. This paper introduces DriftMoE, an online Mixture-of-Experts (MoE) architecture that addresses these limitations through a novel co-training framework. DriftMoE features a compact neural router that is co-trained alongside a pool of incremental Hoeffding tree experts. The key innovation lies in a symbiotic learning loop that enables expert specialization: the router selects the most suitable expert for prediction, the relevant experts update incrementally with the true label, and the router refines its parameters using a multi-hot correctness mask that reinforces every accurate expert. This feedback loop provides the router with a clear training signal while accelerating expert specialization. We evaluate DriftMoE's performance across nine state-of-the-art data stream learning benchmarks spanning abrupt, gradual, and real-world drifts testing two distinct configurations: one where experts specialize on data regimes (multi-class variant), and another where they focus on single-class specialization (task-based variant). Our results demonstrate that DriftMoE achieves competitive results with state-of-the-art stream learning adaptive ensembles, offering a principled and efficient approach to concept drift adaptation. All code, data pipelines, and reproducibility scripts are available in our public GitHub repository: https://github.com/miguel-ceadar/drift-moe.