DriftMoE: Ein Mixture-of-Experts-Ansatz zur Bewältigung von Konzeptdrifts

DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts

July 24, 2025

papers.authors: Miguel Aspis, Sebastián A. Cajas Ordónez, Andrés L. Suárez-Cetrulo, Ricardo Simón Carbajo

cs.AI

papers.abstract

Das Lernen aus nicht-stationären Datenströmen, die von Konzeptdrift betroffen sind, erfordert Modelle, die sich in Echtzeit anpassen können, während sie ressourceneffizient bleiben. Bestehende adaptive Ensemble-Methoden verlassen sich oft auf grobkörnige Anpassungsmechanismen oder einfache Abstimmungsschemata, die spezialisiertes Wissen nicht optimal nutzen. Dieses Papier stellt DriftMoE vor, eine Online-Mixture-of-Experts (MoE)-Architektur, die diese Einschränkungen durch einen neuartigen Co-Training-Rahmen adressiert. DriftMoE verfügt über einen kompakten neuronalen Router, der gemeinsam mit einem Pool von inkrementellen Hoeffding-Baum-Experten trainiert wird. Die Schlüsselinnovation liegt in einer symbiotischen Lernschleife, die die Spezialisierung der Experten ermöglicht: Der Router wählt den am besten geeigneten Experten für die Vorhersage aus, die relevanten Experten aktualisieren sich inkrementell mit dem wahren Label, und der Router verfeinert seine Parameter unter Verwendung einer Multi-Hot-Korrektheitsmaske, die jeden präzisen Experten verstärkt. Diese Rückkopplungsschleife liefert dem Router ein klares Trainingssignal und beschleunigt gleichzeitig die Spezialisierung der Experten. Wir bewerten die Leistung von DriftMoE anhand von neun state-of-the-art Datenstrom-Lernbenchmarks, die abrupte, graduelle und reale Drifts testen, und untersuchen dabei zwei verschiedene Konfigurationen: eine, bei der sich die Experten auf Datenregime spezialisieren (Multi-Klasse-Variante), und eine andere, bei der sie sich auf die Spezialisierung auf einzelne Klassen konzentrieren (aufgabenbasierte Variante). Unsere Ergebnisse zeigen, dass DriftMoE wettbewerbsfähige Ergebnisse mit state-of-the-art adaptiven Ensembles für das Lernen aus Datenströmen erzielt und einen prinzipiellen und effizienten Ansatz zur Anpassung an Konzeptdrift bietet. Der gesamte Code, die Datenpipelines und die Reproduzierbarkeitsskripte sind in unserem öffentlichen GitHub-Repository verfügbar: https://github.com/miguel-ceadar/drift-moe.

English

Learning from non-stationary data streams subject to concept drift requires models that can adapt on-the-fly while remaining resource-efficient. Existing adaptive ensemble methods often rely on coarse-grained adaptation mechanisms or simple voting schemes that fail to optimally leverage specialized knowledge. This paper introduces DriftMoE, an online Mixture-of-Experts (MoE) architecture that addresses these limitations through a novel co-training framework. DriftMoE features a compact neural router that is co-trained alongside a pool of incremental Hoeffding tree experts. The key innovation lies in a symbiotic learning loop that enables expert specialization: the router selects the most suitable expert for prediction, the relevant experts update incrementally with the true label, and the router refines its parameters using a multi-hot correctness mask that reinforces every accurate expert. This feedback loop provides the router with a clear training signal while accelerating expert specialization. We evaluate DriftMoE's performance across nine state-of-the-art data stream learning benchmarks spanning abrupt, gradual, and real-world drifts testing two distinct configurations: one where experts specialize on data regimes (multi-class variant), and another where they focus on single-class specialization (task-based variant). Our results demonstrate that DriftMoE achieves competitive results with state-of-the-art stream learning adaptive ensembles, offering a principled and efficient approach to concept drift adaptation. All code, data pipelines, and reproducibility scripts are available in our public GitHub repository: https://github.com/miguel-ceadar/drift-moe.