Un Enfoque Basado en Transporte Óptimo para el Cultivo del Espacio Latente en el Aprendizaje Incremental en Línea
An Optimal Transport-driven Approach for Cultivating Latent Space in Online Incremental Learning
April 16, 2026
Autores: Quyen Tran, Hai Nguyen, Hoang Phan, Quan Dao, Linh Ngo, Khoat Than, Dinh Phung, Dimitris Metaxas, Trung Le
cs.AI
Resumen
En el aprendizaje incremental en línea, los datos llegan continuamente con cambios distribucionales sustanciales, lo que genera un desafío significativo debido a que las muestras anteriores tienen un valor de reactivación limitado al aprender una nueva tarea. Las investigaciones previas generalmente han dependido de un único centroide adaptativo o de múltiples centroides fijos para representar cada clase en el espacio latente. Sin embargo, estos métodos presentan dificultades cuando los flujos de datos de clase son inherentemente multimodales y requieren actualizaciones continuas de los centroides. Para superar esto, presentamos un marco de aprendizaje de Modelo de Mezclas en línea basado en la teoría del Transporte Óptimo (MMOT), donde los centroides evolucionan incrementalmente con los nuevos datos. Este enfoque ofrece dos ventajas principales: (i) proporciona una caracterización más precisa de flujos de datos complejos, y (ii) permite una mejor estimación de la similitud de clases para muestras no vistas durante la inferencia mediante los centroides derivados de MMOT. Además, para fortalecer el aprendizaje de representaciones y mitigar el olvido catastrófico, diseñamos una estrategia de Preservación Dinámica que regula el espacio latente y mantiene la separabilidad de clases a lo largo del tiempo. Las evaluaciones experimentales en conjuntos de datos de referencia confirman la eficacia superior de nuestro método propuesto.
English
In online incremental learning, data continuously arrives with substantial distributional shifts, creating a significant challenge because previous samples have limited replay value when learning a new task. Prior research has typically relied on either a single adaptive centroid or multiple fixed centroids to represent each class in the latent space. However, such methods struggle when class data streams are inherently multimodal and require continual centroid updates. To overcome this, we introduce an online Mixture Model learning framework grounded in Optimal Transport theory (MMOT), where centroids evolve incrementally with new data. This approach offers two main advantages: (i) it provides a more precise characterization of complex data streams, and (ii) it enables improved class similarity estimation for unseen samples during inference through MMOT-derived centroids. Furthermore, to strengthen representation learning and mitigate catastrophic forgetting, we design a Dynamic Preservation strategy that regulates the latent space and maintains class separability over time. Experimental evaluations on benchmark datasets confirm the superior effectiveness of our proposed method.