DriftMoE: 概念ドリフトに対処するためのエキスパート混合アプローチ

要旨

概念ドリフトにさらされる非定常データストリームから学習するためには、リソース効率を保ちつつオンザフライで適応可能なモデルが必要です。既存の適応型アンサンブル手法は、しばしば粗い粒度の適応メカニズムや単純な投票スキームに依存しており、専門知識を最適に活用することができません。本論文では、これらの制約を克服するための新たな共訓練フレームワークを備えたオンラインMixture-of-Experts（MoE）アーキテクチャであるDriftMoEを紹介します。DriftMoEは、インクリメンタルHoeffdingツリーのエキスパートプールと共に訓練されるコンパクトなニューラルルーターを特徴としています。主な革新点は、エキスパートの専門化を可能にする共生的学習ループにあります。ルーターは予測に最も適したエキスパートを選択し、関連するエキスパートは真のラベルでインクリメンタルに更新され、ルーターは正確なエキスパートを強化するマルチホット正解マスクを使用してパラメータを洗練します。このフィードバックループにより、ルーターには明確な訓練信号が提供され、エキスパートの専門化が加速されます。DriftMoEの性能を、急激なドリフト、漸進的なドリフト、実世界のドリフトを含む9つの最先端データストリーム学習ベンチマークで評価し、エキスパートがデータレジームに特化する場合（マルチクラスバリアント）と、単一クラスの専門化に焦点を当てる場合（タスクベースバリアント）の2つの異なる構成をテストしました。その結果、DriftMoEが最先端のストリーム学習適応型アンサンブルと競争力のある結果を達成し、概念ドリフト適応に対する原則的で効率的なアプローチを提供することが示されました。すべてのコード、データパイプライン、再現性スクリプトは、公開GitHubリポジトリで利用可能です: https://github.com/miguel-ceadar/drift-moe.

English

Learning from non-stationary data streams subject to concept drift requires models that can adapt on-the-fly while remaining resource-efficient. Existing adaptive ensemble methods often rely on coarse-grained adaptation mechanisms or simple voting schemes that fail to optimally leverage specialized knowledge. This paper introduces DriftMoE, an online Mixture-of-Experts (MoE) architecture that addresses these limitations through a novel co-training framework. DriftMoE features a compact neural router that is co-trained alongside a pool of incremental Hoeffding tree experts. The key innovation lies in a symbiotic learning loop that enables expert specialization: the router selects the most suitable expert for prediction, the relevant experts update incrementally with the true label, and the router refines its parameters using a multi-hot correctness mask that reinforces every accurate expert. This feedback loop provides the router with a clear training signal while accelerating expert specialization. We evaluate DriftMoE's performance across nine state-of-the-art data stream learning benchmarks spanning abrupt, gradual, and real-world drifts testing two distinct configurations: one where experts specialize on data regimes (multi-class variant), and another where they focus on single-class specialization (task-based variant). Our results demonstrate that DriftMoE achieves competitive results with state-of-the-art stream learning adaptive ensembles, offering a principled and efficient approach to concept drift adaptation. All code, data pipelines, and reproducibility scripts are available in our public GitHub repository: https://github.com/miguel-ceadar/drift-moe.

DriftMoE: 概念ドリフトに対処するためのエキスパート混合アプローチ

DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts

要旨

Support