Uma Abordagem Guiada por Transporte Ótimo para o Cultivo do Espaço Latente na Aprendizagem Incremental Online
An Optimal Transport-driven Approach for Cultivating Latent Space in Online Incremental Learning
April 16, 2026
Autores: Quyen Tran, Hai Nguyen, Hoang Phan, Quan Dao, Linh Ngo, Khoat Than, Dinh Phung, Dimitris Metaxas, Trung Le
cs.AI
Resumo
Na aprendizagem incremental online, os dados chegam continuamente com mudanças distributivas substanciais, criando um desafio significativo, pois as amostras anteriores têm valor de reapresentação limitado ao aprender uma nova tarefa. Pesquisas anteriores geralmente dependiam de um único centróide adaptativo ou múltiplos centróides fixos para representar cada classe no espaço latente. No entanto, tais métodos lutam quando os fluxos de dados de classe são inerentemente multimodais e exigem atualizações contínuas de centróides. Para superar isso, introduzimos uma estrutura de aprendizagem de Modelo de Mistura online baseada na teoria do Transporte Ótimo (MMOT), onde os centróides evoluem incrementalmente com novos dados. Esta abordagem oferece duas vantagens principais: (i) fornece uma caracterização mais precisa de fluxos de dados complexos e (ii) permite uma estimativa melhorada da similaridade de classes para amostras não vistas durante a inferência por meio de centróides derivados do MMOT. Além disso, para fortalecer a aprendizagem de representação e mitigar o esquecimento catastrófico, projetamos uma estratégia de Preservação Dinâmica que regula o espaço latente e mantém a separabilidade de classes ao longo do tempo. Avaliações experimentais em conjuntos de dados de referência confirmam a eficácia superior do nosso método proposto.
English
In online incremental learning, data continuously arrives with substantial distributional shifts, creating a significant challenge because previous samples have limited replay value when learning a new task. Prior research has typically relied on either a single adaptive centroid or multiple fixed centroids to represent each class in the latent space. However, such methods struggle when class data streams are inherently multimodal and require continual centroid updates. To overcome this, we introduce an online Mixture Model learning framework grounded in Optimal Transport theory (MMOT), where centroids evolve incrementally with new data. This approach offers two main advantages: (i) it provides a more precise characterization of complex data streams, and (ii) it enables improved class similarity estimation for unseen samples during inference through MMOT-derived centroids. Furthermore, to strengthen representation learning and mitigate catastrophic forgetting, we design a Dynamic Preservation strategy that regulates the latent space and maintains class separability over time. Experimental evaluations on benchmark datasets confirm the superior effectiveness of our proposed method.