Een op optimaal transport gebaseerde aanpak voor het ontwikkelen van een latente ruimte in online incrementeel leren
An Optimal Transport-driven Approach for Cultivating Latent Space in Online Incremental Learning
April 16, 2026
Auteurs: Quyen Tran, Hai Nguyen, Hoang Phan, Quan Dao, Linh Ngo, Khoat Than, Dinh Phung, Dimitris Metaxas, Trung Le
cs.AI
Samenvatting
Bij online incrementeel leren arriveren gegevens continu met aanzienlijke distributieverschuivingen, wat een grote uitdaging vormt omdat eerdere samples een beperkte herspeelwaarde hebben bij het aanleren van een nieuwe taak. Eerder onderzoek vertrouwde typisch op ofwel een enkel adaptief centroid ofwel meerdere vaste centroïden om elke klasse in de latente ruimte te representeren. Dergelijke methoden komen echter in de problemen wanneer klassengegevensstromen inherent multimodaal zijn en voortdurende centroid-updates vereisen. Om dit te overwinnen, introduceren we een online Mixture Model-leerraamwerk gebaseerd op de optimaal transporttheorie (MMOT), waarbij centroïden incrementeel meeevolueren met nieuwe gegevens. Deze aanpak biedt twee hoofdvoordelen: (i) het biedt een nauwkeurigere karakterisering van complexe gegevensstromen, en (ii) het maakt verbeterde schatting van klassenovereenkomst mogelijk voor ongeziene samples tijdens inferentie via MMOT-afgeleide centroïden. Versterken we de representatieleren en verminderen we catastrofale vergetelheid door een Dynamisch Behoud-strategie die de latente ruimte reguleert en klasse-scheidbaarheid in de tijd handhaaft. Experimentele evaluaties op benchmark-datasets bevestigen de superieure effectiviteit van onze voorgestelde methode.
English
In online incremental learning, data continuously arrives with substantial distributional shifts, creating a significant challenge because previous samples have limited replay value when learning a new task. Prior research has typically relied on either a single adaptive centroid or multiple fixed centroids to represent each class in the latent space. However, such methods struggle when class data streams are inherently multimodal and require continual centroid updates. To overcome this, we introduce an online Mixture Model learning framework grounded in Optimal Transport theory (MMOT), where centroids evolve incrementally with new data. This approach offers two main advantages: (i) it provides a more precise characterization of complex data streams, and (ii) it enables improved class similarity estimation for unseen samples during inference through MMOT-derived centroids. Furthermore, to strengthen representation learning and mitigate catastrophic forgetting, we design a Dynamic Preservation strategy that regulates the latent space and maintains class separability over time. Experimental evaluations on benchmark datasets confirm the superior effectiveness of our proposed method.