Un Approccio Guidato dal Trasporto Ottimale per la Coltivazione dello Spazio Latente nell'Apprendimento Online Incrementale
An Optimal Transport-driven Approach for Cultivating Latent Space in Online Incremental Learning
April 16, 2026
Autori: Quyen Tran, Hai Nguyen, Hoang Phan, Quan Dao, Linh Ngo, Khoat Than, Dinh Phung, Dimitris Metaxas, Trung Le
cs.AI
Abstract
Nell'apprendimento incrementale online, i dati arrivano continuamente con sostanziali cambiamenti distributivi, creando una sfida significativa poiché i campioni precedenti hanno un valore di replay limitato durante l'apprendimento di un nuovo compito. Le ricerche precedenti si sono generalmente basate su un singolo centroide adattivo o su centroidi fissi multipli per rappresentare ogni classe nello spazio latente. Tuttavia, tali metodi incontrano difficoltà quando i flussi di dati delle classi sono intrinsecamente multimodali e richiedono aggiornamenti continui dei centroidi. Per superare questo limite, introduciamo un framework di apprendimento basato su Misture di Modelli (MMOT) ancorato alla teoria del Trasporto Ottimale, in cui i centroidi si evolvono incrementalmente con i nuovi dati. Questo approccio offre due vantaggi principali: (i) fornisce una caratterizzazione più precisa di flussi di dati complessi e (ii) consente una migliore stima della similarità tra classi per campioni non visti durante l'inferenza attraverso i centroidi derivati da MMOT. Inoltre, per rafforzare l'apprendimento delle rappresentazioni e mitigare la dimenticanza catastrofica, progettiamo una strategia di Preservazione Dinamica che regola lo spazio latente e mantiene la separabilità delle classi nel tempo. Le valutazioni sperimentali su dataset di benchmark confermano l'efficacia superiore del nostro metodo proposto.
English
In online incremental learning, data continuously arrives with substantial distributional shifts, creating a significant challenge because previous samples have limited replay value when learning a new task. Prior research has typically relied on either a single adaptive centroid or multiple fixed centroids to represent each class in the latent space. However, such methods struggle when class data streams are inherently multimodal and require continual centroid updates. To overcome this, we introduce an online Mixture Model learning framework grounded in Optimal Transport theory (MMOT), where centroids evolve incrementally with new data. This approach offers two main advantages: (i) it provides a more precise characterization of complex data streams, and (ii) it enables improved class similarity estimation for unseen samples during inference through MMOT-derived centroids. Furthermore, to strengthen representation learning and mitigate catastrophic forgetting, we design a Dynamic Preservation strategy that regulates the latent space and maintains class separability over time. Experimental evaluations on benchmark datasets confirm the superior effectiveness of our proposed method.