オンラインインクリメンタル学習における潜在空間構築のための最適輸送駆動アプローチ

要旨

オンラインインクリメンタル学習において、データは分布シフトを伴い連続的に到着するため、過去のサンプルが新たなタスクを学習する際の再生価値が限定的となる重大な課題が生じる。従来研究では、潜在空間におけるクラス表現として、単一の適応的重心または複数の固定重心に依存する手法が一般的であった。しかし、クラスデータストリームが本質的にマルチモーダルであり重心の継続的更新を要する場合、こうした手法は困難に直面する。この問題を克服するため、我々は最適輸送理論に基づくオンライン混合モデル学習フレームワーク（MMOT）を提案する。本手法では、重心が新規データとともにインクリメンタルに進化する。このアプローチには二つの主要な利点がある：(i) 複雑なデータストリームをより精密に特徴付け可能であること、(ii) MMOTから導出された重心により、推論時の未見サンプルに対するクラス類似性推定の精度向上が図れることである。さらに、表現学習の強化と破滅的忘却の緩和を目的として、潜在空間を調整しクラス分離性を時間的に維持する動的保存戦略を設計する。ベンチマークデータセットを用いた実験的評価により、提案手法の有効性が確認された。

English

In online incremental learning, data continuously arrives with substantial distributional shifts, creating a significant challenge because previous samples have limited replay value when learning a new task. Prior research has typically relied on either a single adaptive centroid or multiple fixed centroids to represent each class in the latent space. However, such methods struggle when class data streams are inherently multimodal and require continual centroid updates. To overcome this, we introduce an online Mixture Model learning framework grounded in Optimal Transport theory (MMOT), where centroids evolve incrementally with new data. This approach offers two main advantages: (i) it provides a more precise characterization of complex data streams, and (ii) it enables improved class similarity estimation for unseen samples during inference through MMOT-derived centroids. Furthermore, to strengthen representation learning and mitigate catastrophic forgetting, we design a Dynamic Preservation strategy that regulates the latent space and maintains class separability over time. Experimental evaluations on benchmark datasets confirm the superior effectiveness of our proposed method.

オンラインインクリメンタル学習における潜在空間構築のための最適輸送駆動アプローチ

An Optimal Transport-driven Approach for Cultivating Latent Space in Online Incremental Learning

要旨

Support