Une approche guidée par le transport optimal pour cultiver l'espace latent dans l'apprentissage incrémental en ligne
An Optimal Transport-driven Approach for Cultivating Latent Space in Online Incremental Learning
April 16, 2026
Auteurs: Quyen Tran, Hai Nguyen, Hoang Phan, Quan Dao, Linh Ngo, Khoat Than, Dinh Phung, Dimitris Metaxas, Trung Le
cs.AI
Résumé
Dans l'apprentissage incrémental en ligne, les données arrivent continuellement avec des changements distributionnels substantiels, ce qui représente un défi majeur car les échantillons précédents ont une valeur de réutilisation limitée lors de l'apprentissage d'une nouvelle tâche. Les recherches antérieures reposaient généralement soit sur un centroïde adaptatif unique, soit sur plusieurs centroïdes fixes pour représenter chaque classe dans l'espace latent. Cependant, ces méthodes peinent lorsque les flux de données de classe sont intrinsèquement multimodaux et nécessitent des mises à jour continues des centroïdes. Pour surmonter cela, nous introduisons un cadre d'apprentissage de Modèle de Mélange en ligne fondé sur la théorie du Transport Optimal (MMOT), où les centroïdes évoluent de manière incrémentale avec les nouvelles données. Cette approche offre deux avantages principaux : (i) elle fournit une caractérisation plus précise des flux de données complexes, et (ii) elle permet une meilleure estimation de la similarité entre classes pour les échantillons non vus lors de l'inférence grâce aux centroïdes dérivés du MMOT. De plus, pour renforcer l'apprentissage de représentations et atténuer l'oubli catastrophique, nous concevons une stratégie de Préservation Dynamique qui régule l'espace latent et maintient la séparabilité des classes dans le temps. Les évaluations expérimentales sur des jeux de données de référence confirment l'efficacité supérieure de notre méthode proposée.
English
In online incremental learning, data continuously arrives with substantial distributional shifts, creating a significant challenge because previous samples have limited replay value when learning a new task. Prior research has typically relied on either a single adaptive centroid or multiple fixed centroids to represent each class in the latent space. However, such methods struggle when class data streams are inherently multimodal and require continual centroid updates. To overcome this, we introduce an online Mixture Model learning framework grounded in Optimal Transport theory (MMOT), where centroids evolve incrementally with new data. This approach offers two main advantages: (i) it provides a more precise characterization of complex data streams, and (ii) it enables improved class similarity estimation for unseen samples during inference through MMOT-derived centroids. Furthermore, to strengthen representation learning and mitigate catastrophic forgetting, we design a Dynamic Preservation strategy that regulates the latent space and maintains class separability over time. Experimental evaluations on benchmark datasets confirm the superior effectiveness of our proposed method.