Оптимально-транспортный подход к формированию латентного пространства в онлайн-обучении с инкрементальным пополнением данных
An Optimal Transport-driven Approach for Cultivating Latent Space in Online Incremental Learning
April 16, 2026
Авторы: Quyen Tran, Hai Nguyen, Hoang Phan, Quan Dao, Linh Ngo, Khoat Than, Dinh Phung, Dimitris Metaxas, Trung Le
cs.AI
Аннотация
При онлайн-инкрементном обучении данные непрерывно поступают со значительными изменениями распределения, что создает серьезную проблему, поскольку предыдущие выборки имеют ограниченную ценность для воспроизведения при изучении новой задачи. Предыдущие исследования обычно полагались либо на единый адаптивный центроид, либо на несколько фиксированных центроидов для представления каждого класса в латентном пространстве. Однако такие методы сталкиваются с трудностями, когда поток данных класса по своей природе многомодален и требует постоянного обновления центроидов. Для преодоления этого мы представляем фреймворк обучения смешанной модели, основанный на теории оптимального транспорта (MMOT), в котором центроиды эволюционируют инкрементно с поступлением новых данных. Этот подход предлагает два основных преимущества: (i) он обеспечивает более точную характеристику сложных потоков данных и (ii) позволяет улучшить оценку сходства классов для невидимых выборок во время вывода через центроиды, полученные с помощью MMOT. Кроме того, для усиления обучения представлений и смягчения катастрофического забывания мы разрабатываем стратегию динамического сохранения, которая регулирует латентное пространство и поддерживает разделимость классов с течением времени. Экспериментальные оценки на эталонных наборах данных подтверждают превосходную эффективность предложенного метода.
English
In online incremental learning, data continuously arrives with substantial distributional shifts, creating a significant challenge because previous samples have limited replay value when learning a new task. Prior research has typically relied on either a single adaptive centroid or multiple fixed centroids to represent each class in the latent space. However, such methods struggle when class data streams are inherently multimodal and require continual centroid updates. To overcome this, we introduce an online Mixture Model learning framework grounded in Optimal Transport theory (MMOT), where centroids evolve incrementally with new data. This approach offers two main advantages: (i) it provides a more precise characterization of complex data streams, and (ii) it enables improved class similarity estimation for unseen samples during inference through MMOT-derived centroids. Furthermore, to strengthen representation learning and mitigate catastrophic forgetting, we design a Dynamic Preservation strategy that regulates the latent space and maintains class separability over time. Experimental evaluations on benchmark datasets confirm the superior effectiveness of our proposed method.