DriftMoE: Uma Abordagem de Mistura de Especialistas para Lidar com Deriva de Conceitos

DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts

July 24, 2025

Autores: Miguel Aspis, Sebastián A. Cajas Ordónez, Andrés L. Suárez-Cetrulo, Ricardo Simón Carbajo

cs.AI

Resumo

Aprender a partir de fluxos de dados não estacionários sujeitos a mudanças de conceito requer modelos que possam se adaptar em tempo real, mantendo-se eficientes em termos de recursos. Os métodos adaptativos de ensemble existentes frequentemente dependem de mecanismos de adaptação de granularidade grossa ou esquemas de votação simples que não aproveitam de forma ideal o conhecimento especializado. Este artigo apresenta o DriftMoE, uma arquitetura online de Mistura de Especialistas (MoE) que aborda essas limitações por meio de um novo framework de co-treinamento. O DriftMoE possui um roteador neural compacto que é co-treinado juntamente com um conjunto de especialistas em árvores de Hoeffding incrementais. A inovação principal reside em um loop de aprendizado simbiótico que permite a especialização dos especialistas: o roteador seleciona o especialista mais adequado para a previsão, os especialistas relevantes atualizam-se incrementalmente com o rótulo verdadeiro, e o roteador refina seus parâmetros usando uma máscara de correção multi-hot que reforça cada especialista preciso. Esse loop de feedback fornece ao roteador um sinal de treinamento claro, ao mesmo tempo que acelera a especialização dos especialistas. Avaliamos o desempenho do DriftMoE em nove benchmarks de aprendizado de fluxo de dados de última geração, abrangendo mudanças abruptas, graduais e do mundo real, testando duas configurações distintas: uma em que os especialistas se especializam em regimes de dados (variante multiclasse), e outra em que focam na especialização de classe única (variante baseada em tarefas). Nossos resultados demonstram que o DriftMoE alcança resultados competitivos com os ensembles adaptativos de última geração para aprendizado de fluxo, oferecendo uma abordagem fundamentada e eficiente para a adaptação a mudanças de conceito. Todo o código, pipelines de dados e scripts de reprodutibilidade estão disponíveis em nosso repositório público no GitHub: https://github.com/miguel-ceadar/drift-moe.

English

Learning from non-stationary data streams subject to concept drift requires models that can adapt on-the-fly while remaining resource-efficient. Existing adaptive ensemble methods often rely on coarse-grained adaptation mechanisms or simple voting schemes that fail to optimally leverage specialized knowledge. This paper introduces DriftMoE, an online Mixture-of-Experts (MoE) architecture that addresses these limitations through a novel co-training framework. DriftMoE features a compact neural router that is co-trained alongside a pool of incremental Hoeffding tree experts. The key innovation lies in a symbiotic learning loop that enables expert specialization: the router selects the most suitable expert for prediction, the relevant experts update incrementally with the true label, and the router refines its parameters using a multi-hot correctness mask that reinforces every accurate expert. This feedback loop provides the router with a clear training signal while accelerating expert specialization. We evaluate DriftMoE's performance across nine state-of-the-art data stream learning benchmarks spanning abrupt, gradual, and real-world drifts testing two distinct configurations: one where experts specialize on data regimes (multi-class variant), and another where they focus on single-class specialization (task-based variant). Our results demonstrate that DriftMoE achieves competitive results with state-of-the-art stream learning adaptive ensembles, offering a principled and efficient approach to concept drift adaptation. All code, data pipelines, and reproducibility scripts are available in our public GitHub repository: https://github.com/miguel-ceadar/drift-moe.