InfoNCE induziert eine Gaußsche Verteilung
InfoNCE Induces Gaussian Distribution
February 27, 2026
Autoren: Roy Betser, Eyal Gofer, Meir Yossef Levi, Guy Gilboa
cs.AI
Zusammenfassung
Kontrastives Lernen hat sich zu einem Grundpfeiler des modernen Repräsentationslernens entwickelt, da es das Training mit massiven unmarkierten Daten sowohl für aufgabenspezifische als auch für allgemeine (Foundation-)Modelle ermöglicht. Ein prototypischer Loss im kontrastiven Training ist InfoNCE und seine Varianten. In dieser Arbeit zeigen wir, dass das InfoNCE-Ziel eine Gaußsche Struktur in den Repräsentationen induziert, die aus dem kontrastiven Training hervorgehen. Wir belegen dieses Ergebnis in zwei komplementären Regimen. Zunächst zeigen wir, dass unter bestimmten Annahmen zur Alignment und Konzentration die Projektionen der hochdimensionalen Repräsentation asymptotisch einer multivariaten Gaußverteilung zustreben. Darauf aufbauend zeigen wir unter weniger strengen Annahmen, dass das Hinzufügen eines kleinen, asymptotisch verschwindenden Regularisierungsterms, der eine niedrige Feature-Norm und hohe Feature-Entropie fördert, zu ähnlichen asymptotischen Ergebnissen führt. Wir untermauern unsere Analyse mit Experimenten auf synthetischen und CIFAR-10-Datensätzen über mehrere Encoder-Architekturen und -Größen hinweg, die konsistentes Gaußsches Verhalten demonstrieren. Diese Perspektive liefert eine prinzipielle Erklärung für die häufig beobachtete Gauß-Normalität in kontrastiven Repräsentationen. Das resultierende Gaußsche Modell ermöglicht eine prinzipielle analytische Behandlung der gelernten Repräsentationen und wird voraussichtlich eine breite Palette von Anwendungen im kontrastiven Lernen unterstützen.
English
Contrastive learning has become a cornerstone of modern representation learning, allowing training with massive unlabeled data for both task-specific and general (foundation) models. A prototypical loss in contrastive training is InfoNCE and its variants. In this work, we show that the InfoNCE objective induces Gaussian structure in representations that emerge from contrastive training. We establish this result in two complementary regimes. First, we show that under certain alignment and concentration assumptions, projections of the high-dimensional representation asymptotically approach a multivariate Gaussian distribution. Next, under less strict assumptions, we show that adding a small asymptotically vanishing regularization term that promotes low feature norm and high feature entropy leads to similar asymptotic results. We support our analysis with experiments on synthetic and CIFAR-10 datasets across multiple encoder architectures and sizes, demonstrating consistent Gaussian behavior. This perspective provides a principled explanation for commonly observed Gaussianity in contrastive representations. The resulting Gaussian model enables principled analytical treatment of learned representations and is expected to support a wide range of applications in contrastive learning.