Une théorie de l'apprentissage contrastif sur les images naturelles

Résumé

Pourquoi l'apprentissage contrastif avec des images simples et des augmentations produit-il des représentations utiles pour des tâches en aval ? Nous abordons cette question en calculant analytiquement la représentation optimale selon une fonction de perte contrastive pour une gamme d'augmentations de base et pour tout ensemble de données d'images à statistiques stationnaires. Nous montrons que pour certaines augmentations, l'optimum peut être atteint par un CNN dont la première couche de filtres est constituée de sinusoïdes, suivie d'une non-linéarité ponctuelle, d'un pooling moyen global, et d'une couche linéaire finale effectuant un blanchiment partiel. Nous montrons également que les poids optimaux dans de tels CNN pour des augmentations plus complexes restent des sinusoïdes. Les fréquences des sinusoïdes et leurs poids peuvent être calculés à l'aide d'un simple algorithme de remplissage d'eau, en fonction du spectre de puissance attendu de l'ensemble de données. Des expériences avec différents ensembles de données d'images et d'augmentations montrent que de tels CNN, entraînés par SGD, apprennent empiriquement des sinusoïdes dans leur première couche et effectuent un blanchiment partiel.

English

Why does contrastive learning with simple images and augmentations yield useful representations for downstream tasks? We address this question by analytically computing the optimal representation in terms of a contrastive loss for a range of basic augmentations and any image dataset with stationary statistics. We show that for certain augmentations the optimum can be attained by a CNN whose first layer filters are sinusoids, followed by a pointwise nonlinearity, global average pooling, and a final linear layer that performs partial whitening. We also show that the optimal weights in such CNNs for more complicated augmentations are still sinusoids. The frequencies of the sinusoids and their weights can be computed using a simple waterfilling algorithm given the dataset's expected power spectrum. Experiments with different image datasets and augmentations show that such CNNs trained with SGD empirically learn sinusoids in their first layer and to perform partial whitening