Ein optimaler Transport-gesteuerter Ansatz zur Kultivierung des latenten Raums im Online-Inkrementellen Lernen
An Optimal Transport-driven Approach for Cultivating Latent Space in Online Incremental Learning
April 16, 2026
Autoren: Quyen Tran, Hai Nguyen, Hoang Phan, Quan Dao, Linh Ngo, Khoat Than, Dinh Phung, Dimitris Metaxas, Trung Le
cs.AI
Zusammenfassung
Im kontinuierlichen Online-Lernprozess treffen Daten mit erheblichen Verteilungsverschiebungen ein, was eine große Herausforderung darstellt, da frühere Stichproben nur begrenzten Wiederverwendungswert beim Lernen neuer Aufgaben besitzen. Bisherige Forschungsansätze griffen typischerweise entweder auf einen einzelnen adaptiven Zentroiden oder mehrere feste Zentroiden zurück, um jede Klasse im latenten Raum abzubilden. Solche Methoden stoßen jedoch an Grenzen, wenn Klassendatenströme inhärent multimodal sind und fortlaufende Zentroiden-Anpassungen erfordern. Um dies zu überwinden, führen wir ein Online-Lernframework für Mixture-Modelle ein, das auf der Optimal-Transport-Theorie basiert (MMOT), wobei sich Zentroiden inkrementell mit neuen Daten weiterentwickeln. Dieser Ansatz bietet zwei Hauptvorteile: (i) er ermöglicht eine präzisere Charakterisierung komplexer Datenströme und (ii) er verbessert die Ähnlichkeitsschätzung von Klassen für unbekannte Stichproben während der Inferenz durch MMOT-abgeleitete Zentroiden. Darüber hinaus entwerfen wir eine dynamische Erhaltungsstrategie, um die Repräsentationslernfähigkeit zu stärken und katastrophales Vergessen zu mindern, indem der latente Raum reguliert und die Klassentrennbarkeit über die Zeit aufrechterhalten wird. Experimentelle Auswertungen auf Benchmark-Datensätzen bestätigen die überlegene Wirksamkeit unseres vorgeschlagenen Verfahrens.
English
In online incremental learning, data continuously arrives with substantial distributional shifts, creating a significant challenge because previous samples have limited replay value when learning a new task. Prior research has typically relied on either a single adaptive centroid or multiple fixed centroids to represent each class in the latent space. However, such methods struggle when class data streams are inherently multimodal and require continual centroid updates. To overcome this, we introduce an online Mixture Model learning framework grounded in Optimal Transport theory (MMOT), where centroids evolve incrementally with new data. This approach offers two main advantages: (i) it provides a more precise characterization of complex data streams, and (ii) it enables improved class similarity estimation for unseen samples during inference through MMOT-derived centroids. Furthermore, to strengthen representation learning and mitigate catastrophic forgetting, we design a Dynamic Preservation strategy that regulates the latent space and maintains class separability over time. Experimental evaluations on benchmark datasets confirm the superior effectiveness of our proposed method.