DriftMoE: Un approccio a Miscela di Esperti per gestire i Cambiamenti Concettuali

DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts

July 24, 2025

Autori: Miguel Aspis, Sebastián A. Cajas Ordónez, Andrés L. Suárez-Cetrulo, Ricardo Simón Carbajo

cs.AI

Abstract

L'apprendimento da flussi di dati non stazionari soggetti a concept drift richiede modelli in grado di adattarsi in tempo reale mantenendo un uso efficiente delle risorse. I metodi di ensemble adattativi esistenti spesso si basano su meccanismi di adattamento a grana grossa o su semplici schemi di voto che non sfruttano in modo ottimale la conoscenza specializzata. Questo articolo introduce DriftMoE, un'architettura online Mixture-of-Experts (MoE) che affronta queste limitazioni attraverso un nuovo framework di co-training. DriftMoE presenta un router neurale compatto che viene co-addestrato insieme a un pool di esperti basati su alberi di Hoeffding incrementali. L'innovazione chiave risiede in un ciclo di apprendimento simbiotico che consente la specializzazione degli esperti: il router seleziona l'esperto più adatto per la previsione, gli esperti rilevanti si aggiornano in modo incrementale con l'etichetta vera, e il router affina i suoi parametri utilizzando una maschera di correttezza multi-hot che rinforza ogni esperto accurato. Questo ciclo di feedback fornisce al router un segnale di addestramento chiaro mentre accelera la specializzazione degli esperti. Valutiamo le prestazioni di DriftMoE su nove benchmark all'avanguardia per l'apprendimento da flussi di dati, che coprono drift improvvisi, graduali e del mondo reale, testando due configurazioni distinte: una in cui gli esperti si specializzano su regimi di dati (variante multi-classe), e un'altra in cui si concentrano sulla specializzazione a singola classe (variante basata su task). I nostri risultati dimostrano che DriftMoE ottiene risultati competitivi rispetto agli ensemble adattativi all'avanguardia per l'apprendimento da flussi, offrendo un approccio principiato ed efficiente all'adattamento al concept drift. Tutto il codice, le pipeline di dati e gli script di riproducibilità sono disponibili nel nostro repository GitHub pubblico: https://github.com/miguel-ceadar/drift-moe.

English

Learning from non-stationary data streams subject to concept drift requires models that can adapt on-the-fly while remaining resource-efficient. Existing adaptive ensemble methods often rely on coarse-grained adaptation mechanisms or simple voting schemes that fail to optimally leverage specialized knowledge. This paper introduces DriftMoE, an online Mixture-of-Experts (MoE) architecture that addresses these limitations through a novel co-training framework. DriftMoE features a compact neural router that is co-trained alongside a pool of incremental Hoeffding tree experts. The key innovation lies in a symbiotic learning loop that enables expert specialization: the router selects the most suitable expert for prediction, the relevant experts update incrementally with the true label, and the router refines its parameters using a multi-hot correctness mask that reinforces every accurate expert. This feedback loop provides the router with a clear training signal while accelerating expert specialization. We evaluate DriftMoE's performance across nine state-of-the-art data stream learning benchmarks spanning abrupt, gradual, and real-world drifts testing two distinct configurations: one where experts specialize on data regimes (multi-class variant), and another where they focus on single-class specialization (task-based variant). Our results demonstrate that DriftMoE achieves competitive results with state-of-the-art stream learning adaptive ensembles, offering a principled and efficient approach to concept drift adaptation. All code, data pipelines, and reproducibility scripts are available in our public GitHub repository: https://github.com/miguel-ceadar/drift-moe.