DriftMoE : Une approche par mélange d'experts pour gérer les dérives conceptuelles

DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts

July 24, 2025

papers.authors: Miguel Aspis, Sebastián A. Cajas Ordónez, Andrés L. Suárez-Cetrulo, Ricardo Simón Carbajo

cs.AI

papers.abstract

L'apprentissage à partir de flux de données non stationnaires soumis à des dérives conceptuelles nécessite des modèles capables de s'adapter en temps réel tout en restant économes en ressources. Les méthodes d'ensembles adaptatifs existantes reposent souvent sur des mécanismes d'adaptation grossiers ou des schémas de vote simples qui ne parviennent pas à exploiter de manière optimale les connaissances spécialisées. Cet article présente DriftMoE, une architecture en ligne de type Mixture-of-Experts (MoE) qui surmonte ces limitations grâce à un nouveau cadre d'apprentissage conjoint. DriftMoE intègre un routeur neuronal compact co-entraîné avec un ensemble d'experts basés sur des arbres de Hoeffding incrémentaux. L'innovation clé réside dans une boucle d'apprentissage symbiotique qui favorise la spécialisation des experts : le routeur sélectionne l'expert le plus adapté pour la prédiction, les experts pertinents se mettent à jour de manière incrémentale avec la véritable étiquette, et le routeur affine ses paramètres à l'aide d'un masque de correction multi-hot qui renforce chaque expert précis. Cette boucle de rétroaction fournit au routeur un signal d'apprentissage clair tout en accélérant la spécialisation des experts. Nous évaluons les performances de DriftMoE sur neuf benchmarks de pointe en apprentissage de flux de données, couvrant des dérives abruptes, graduelles et issues du monde réel, en testant deux configurations distinctes : une où les experts se spécialisent sur des régimes de données (variante multi-classes), et une autre où ils se concentrent sur une spécialisation mono-classe (variante basée sur les tâches). Nos résultats montrent que DriftMoE obtient des performances compétitives par rapport aux ensembles adaptatifs de pointe en apprentissage de flux, offrant une approche rigoureuse et efficace pour l'adaptation aux dérives conceptuelles. Tous les codes, pipelines de données et scripts de reproductibilité sont disponibles dans notre dépôt GitHub public : https://github.com/miguel-ceadar/drift-moe.

English

Learning from non-stationary data streams subject to concept drift requires models that can adapt on-the-fly while remaining resource-efficient. Existing adaptive ensemble methods often rely on coarse-grained adaptation mechanisms or simple voting schemes that fail to optimally leverage specialized knowledge. This paper introduces DriftMoE, an online Mixture-of-Experts (MoE) architecture that addresses these limitations through a novel co-training framework. DriftMoE features a compact neural router that is co-trained alongside a pool of incremental Hoeffding tree experts. The key innovation lies in a symbiotic learning loop that enables expert specialization: the router selects the most suitable expert for prediction, the relevant experts update incrementally with the true label, and the router refines its parameters using a multi-hot correctness mask that reinforces every accurate expert. This feedback loop provides the router with a clear training signal while accelerating expert specialization. We evaluate DriftMoE's performance across nine state-of-the-art data stream learning benchmarks spanning abrupt, gradual, and real-world drifts testing two distinct configurations: one where experts specialize on data regimes (multi-class variant), and another where they focus on single-class specialization (task-based variant). Our results demonstrate that DriftMoE achieves competitive results with state-of-the-art stream learning adaptive ensembles, offering a principled and efficient approach to concept drift adaptation. All code, data pipelines, and reproducibility scripts are available in our public GitHub repository: https://github.com/miguel-ceadar/drift-moe.