DriftMoE: Un enfoque de Mezcla de Expertos para manejar cambios de concepto

DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts

July 24, 2025

Autores: Miguel Aspis, Sebastián A. Cajas Ordónez, Andrés L. Suárez-Cetrulo, Ricardo Simón Carbajo

cs.AI

Resumen

Aprender de flujos de datos no estacionarios sujetos a deriva conceptual requiere modelos que puedan adaptarse sobre la marcha mientras mantienen la eficiencia de recursos. Los métodos de ensamble adaptativos existentes a menudo dependen de mecanismos de adaptación de grano grueso o esquemas de votación simples que no aprovechan óptimamente el conocimiento especializado. Este artículo presenta DriftMoE, una arquitectura en línea de Mezcla de Expertos (MoE, por sus siglas en inglés) que aborda estas limitaciones mediante un novedoso marco de co-entrenamiento. DriftMoE incluye un enrutador neuronal compacto que se co-entrena junto con un conjunto de expertos basados en árboles de Hoeffding incrementales. La innovación clave radica en un ciclo de aprendizaje simbiótico que permite la especialización de los expertos: el enrutador selecciona al experto más adecuado para la predicción, los expertos relevantes se actualizan incrementalmente con la etiqueta verdadera, y el enrutador refina sus parámetros utilizando una máscara de corrección multi-hot que refuerza a cada experto preciso. Este ciclo de retroalimentación proporciona al enrutador una señal de entrenamiento clara mientras acelera la especialización de los expertos. Evaluamos el rendimiento de DriftMoE en nueve benchmarks de aprendizaje de flujos de datos de última generación que abarcan derivas abruptas, graduales y del mundo real, probando dos configuraciones distintas: una donde los expertos se especializan en regímenes de datos (variante multi-clase), y otra donde se enfocan en la especialización de una sola clase (variante basada en tareas). Nuestros resultados demuestran que DriftMoE logra resultados competitivos con los ensambles adaptativos de aprendizaje de flujos más avanzados, ofreciendo un enfoque fundamentado y eficiente para la adaptación a la deriva conceptual. Todo el código, tuberías de datos y scripts de reproducibilidad están disponibles en nuestro repositorio público de GitHub: https://github.com/miguel-ceadar/drift-moe.

English

Learning from non-stationary data streams subject to concept drift requires models that can adapt on-the-fly while remaining resource-efficient. Existing adaptive ensemble methods often rely on coarse-grained adaptation mechanisms or simple voting schemes that fail to optimally leverage specialized knowledge. This paper introduces DriftMoE, an online Mixture-of-Experts (MoE) architecture that addresses these limitations through a novel co-training framework. DriftMoE features a compact neural router that is co-trained alongside a pool of incremental Hoeffding tree experts. The key innovation lies in a symbiotic learning loop that enables expert specialization: the router selects the most suitable expert for prediction, the relevant experts update incrementally with the true label, and the router refines its parameters using a multi-hot correctness mask that reinforces every accurate expert. This feedback loop provides the router with a clear training signal while accelerating expert specialization. We evaluate DriftMoE's performance across nine state-of-the-art data stream learning benchmarks spanning abrupt, gradual, and real-world drifts testing two distinct configurations: one where experts specialize on data regimes (multi-class variant), and another where they focus on single-class specialization (task-based variant). Our results demonstrate that DriftMoE achieves competitive results with state-of-the-art stream learning adaptive ensembles, offering a principled and efficient approach to concept drift adaptation. All code, data pipelines, and reproducibility scripts are available in our public GitHub repository: https://github.com/miguel-ceadar/drift-moe.