InfoNCE Induce una Distribución Gaussiana
InfoNCE Induces Gaussian Distribution
February 27, 2026
Autores: Roy Betser, Eyal Gofer, Meir Yossef Levi, Guy Gilboa
cs.AI
Resumen
El aprendizaje contrastivo se ha convertido en un pilar fundamental del aprendizaje de representaciones moderno, permitiendo el entrenamiento con datos masivos no etiquetados tanto para modelos específicos de tareas como para modelos generales (fundacionales). Una pérdida prototípica en el entrenamiento contrastivo es InfoNCE y sus variantes. En este trabajo, demostramos que el objetivo de InfoNCE induce una estructura gaussiana en las representaciones que surgen del entrenamiento contrastivo. Establecemos este resultado en dos regímenes complementarios. Primero, mostramos que bajo ciertos supuestos de alineación y concentración, las proyecciones de la representación de alta dimensión se aproximan asintóticamente a una distribución gaussiana multivariante. A continuación, bajo supuestos menos estrictos, mostramos que añadir un pequeño término de regularización, que se desvanece asintóticamente y que promueve una norma de característica baja y una entropía de característica alta, conduce a resultados asintóticos similares. Apoyamos nuestro análisis con experimentos en conjuntos de datos sintéticos y CIFAR-10 en múltiples arquitecturas y tamaños de codificadores, demostrando un comportamiento gaussiano consistente. Esta perspectiva proporciona una explicación fundamentada para la gaussianidad comúnmente observada en las representaciones contrastivas. El modelo gaussiano resultante permite un tratamiento analítico fundamentado de las representaciones aprendidas y se espera que respalde una amplia gama de aplicaciones en el aprendizaje contrastivo.
English
Contrastive learning has become a cornerstone of modern representation learning, allowing training with massive unlabeled data for both task-specific and general (foundation) models. A prototypical loss in contrastive training is InfoNCE and its variants. In this work, we show that the InfoNCE objective induces Gaussian structure in representations that emerge from contrastive training. We establish this result in two complementary regimes. First, we show that under certain alignment and concentration assumptions, projections of the high-dimensional representation asymptotically approach a multivariate Gaussian distribution. Next, under less strict assumptions, we show that adding a small asymptotically vanishing regularization term that promotes low feature norm and high feature entropy leads to similar asymptotic results. We support our analysis with experiments on synthetic and CIFAR-10 datasets across multiple encoder architectures and sizes, demonstrating consistent Gaussian behavior. This perspective provides a principled explanation for commonly observed Gaussianity in contrastive representations. The resulting Gaussian model enables principled analytical treatment of learned representations and is expected to support a wide range of applications in contrastive learning.