Uma Teoria da Aprendizagem Contrastiva com Imagens Naturais

Resumo

Por que a aprendizagem contrastiva com imagens simples e aumentos produz representações úteis para tarefas downstream? Abordamos esta questão computando analiticamente a representação ótima em termos de uma perda contrastiva para uma variedade de aumentos básicos e qualquer conjunto de dados de imagens com estatísticas estacionárias. Mostramos que, para certos aumentos, o ótimo pode ser alcançado por uma CNN cuja primeira camada de filtros consiste em senoides, seguidas por uma não linearidade pontual, pooling médio global e uma camada linear final que realiza branqueamento parcial. Também mostramos que os pesos ótimos em tais CNNs para aumentos mais complexos ainda são senoides. As frequências das senoides e seus pesos podem ser computadas usando um algoritmo simples de preenchimento de água, dado o espectro de potência esperado do conjunto de dados. Experimentos com diferentes conjuntos de dados de imagens e aumentos mostram que tais CNNs treinadas com SGD aprendem empiricamente senoides em sua primeira camada e a realizar branqueamento parcial.

English

Why does contrastive learning with simple images and augmentations yield useful representations for downstream tasks? We address this question by analytically computing the optimal representation in terms of a contrastive loss for a range of basic augmentations and any image dataset with stationary statistics. We show that for certain augmentations the optimum can be attained by a CNN whose first layer filters are sinusoids, followed by a pointwise nonlinearity, global average pooling, and a final linear layer that performs partial whitening. We also show that the optimal weights in such CNNs for more complicated augmentations are still sinusoids. The frequencies of the sinusoids and their weights can be computed using a simple waterfilling algorithm given the dataset's expected power spectrum. Experiments with different image datasets and augmentations show that such CNNs trained with SGD empirically learn sinusoids in their first layer and to perform partial whitening