온라인 증분 학습에서 잠재 공간 조성을 위한 최적 수송 기반 접근법

초록

온라인 점진 학습에서는 데이터가 지속적으로 유입되며 분포 변화가 크게 발생하기 때문에, 새로운 작업을 학습할 때 이전 샘플들의 재생 활용도가 제한되는 중요한 과제가 존재합니다. 기존 연구들은 주로 잠재 공간에서 각 클래스를 표현하기 위해 단일 적응형 중심점 또는 여러 고정 중심점에 의존해 왔습니다. 그러나 이러한 방법들은 클래스 데이터 스트림이 본질적으로 다중 모드를 가지며 지속적인 중심점 갱신이 필요한 경우에 어려움을 겪습니다. 이를 해결하기 위해 우리는 최적 수송 이론에 기반한 온라인 혼합 모델 학습 프레임워크(MMOT)를 제안하며, 이에서 중심점들은 새로운 데이터와 함께 점진적으로 진화합니다. 이 접근법은 두 가지 주요 이점을 제공합니다: (i) 복잡한 데이터 스트림을 더 정확하게 특징화할 수 있으며, (ii) MMOT에서 도출된 중심점을 통해 추론 단계에서 보이지 않는 샘플에 대한 클래스 유사도 추정 성능을 향상시킬 수 있습니다. 더 나아가, 표현 학습을 강화하고 파국적 망각을 완화하기 위해 우리는 잠재 공간을 규제하고 시간이 지나도 클래스 분리성을 유지하는 동적 보존 전략을 설계하였습니다. 벤치마크 데이터셋에 대한 실험적 평가를 통해 제안 방법의 우수한 효과성을 확인하였습니다.

English

In online incremental learning, data continuously arrives with substantial distributional shifts, creating a significant challenge because previous samples have limited replay value when learning a new task. Prior research has typically relied on either a single adaptive centroid or multiple fixed centroids to represent each class in the latent space. However, such methods struggle when class data streams are inherently multimodal and require continual centroid updates. To overcome this, we introduce an online Mixture Model learning framework grounded in Optimal Transport theory (MMOT), where centroids evolve incrementally with new data. This approach offers two main advantages: (i) it provides a more precise characterization of complex data streams, and (ii) it enables improved class similarity estimation for unseen samples during inference through MMOT-derived centroids. Furthermore, to strengthen representation learning and mitigate catastrophic forgetting, we design a Dynamic Preservation strategy that regulates the latent space and maintains class separability over time. Experimental evaluations on benchmark datasets confirm the superior effectiveness of our proposed method.

온라인 증분 학습에서 잠재 공간 조성을 위한 최적 수송 기반 접근법

An Optimal Transport-driven Approach for Cultivating Latent Space in Online Incremental Learning

초록

Support