InfoNCE는 가우시안 분포를 유도합니다

초록

대조 학습은 현대 표현 학습의 핵심 기반이 되어왔으며, 방대한 양의 레이블이 없는 데이터를 활용하여 작업 특화 모델과 일반(기초) 모델 모두를 훈련시킬 수 있게 합니다. 대조 학습에서 대표적인 손실 함수는 InfoNCE와 그 변형들입니다. 본 연구에서는 InfoNCE 목적 함수가 대조 학습을 통해 얻어진 표현에 가우시안 구조를 유도함을 보입니다. 우리는 이 결과를 두 가지 상호 보완적인 체계에서 입증합니다. 첫째, 특정 정렬 및 집중 가정 하에서 고차원 표현의 투영이 점근적으로 다변량 가우시안 분포에 접근함을 보입니다. 다음으로, 덜 엄격한 가정 하에서는 낮은 특징 노름과 높은 특징 엔트로피를 촉진하는 점근적으로 사라지는 작은 정규화 항을 추가함으로써 유사한 점근적 결과를 얻을 수 있음을 보입니다. 우리는 다양한 인코더 구조와 규모에 걸친 합성 데이터 및 CIFAR-10 데이터셋 실험을 통해 분석을 뒷받침하며, 일관된 가우시안 거동을 입증합니다. 이러한 관점은 대조 학습 표현에서 흔히 관찰되는 가우시안 특성에 대한 원칙적인 설명을 제공합니다. 그 결과 도출된 가우시안 모델은 학습된 표현에 대한 원칙적인 분석적 처리를 가능하게 하며, 대조 학습의 광범위한 응용 분야를 지원할 것으로 기대됩니다.

English

Contrastive learning has become a cornerstone of modern representation learning, allowing training with massive unlabeled data for both task-specific and general (foundation) models. A prototypical loss in contrastive training is InfoNCE and its variants. In this work, we show that the InfoNCE objective induces Gaussian structure in representations that emerge from contrastive training. We establish this result in two complementary regimes. First, we show that under certain alignment and concentration assumptions, projections of the high-dimensional representation asymptotically approach a multivariate Gaussian distribution. Next, under less strict assumptions, we show that adding a small asymptotically vanishing regularization term that promotes low feature norm and high feature entropy leads to similar asymptotic results. We support our analysis with experiments on synthetic and CIFAR-10 datasets across multiple encoder architectures and sizes, demonstrating consistent Gaussian behavior. This perspective provides a principled explanation for commonly observed Gaussianity in contrastive representations. The resulting Gaussian model enables principled analytical treatment of learned representations and is expected to support a wide range of applications in contrastive learning.

InfoNCE는 가우시안 분포를 유도합니다

InfoNCE Induces Gaussian Distribution

초록

Support