Теория контрастивного обучения на естественных изображениях

Аннотация

Почему контрастивное обучение с использованием простых изображений и аугментаций дает полезные представления для последующих задач? Мы рассматриваем этот вопрос, аналитически вычисляя оптимальное представление в терминах контрастивной функции потерь для ряда базовых аугментаций и любого набора изображений со стационарной статистикой. Мы показываем, что для определенных аугментаций оптимум может быть достигнут с помощью сверточной нейронной сети (CNN), первый слой которой состоит из фильтров-синусоид, за которыми следуют поточечная нелинейность, глобальное усреднение пула и финальный линейный слой, выполняющий частичное отбеливание. Мы также показываем, что оптимальные веса в таких CNN для более сложных аугментаций по-прежнему являются синусоидами. Частоты синусоид и их веса могут быть вычислены с помощью простого алгоритма «водозаполнения» на основе ожидаемого спектра мощности набора данных. Эксперименты с различными наборами изображений и аугментациями показывают, что такие CNN, обученные с помощью стохастического градиентного спуска (SGD), эмпирически обучаются синусоидам в своем первом слое и выполняют частичное отбеливание.

English

Why does contrastive learning with simple images and augmentations yield useful representations for downstream tasks? We address this question by analytically computing the optimal representation in terms of a contrastive loss for a range of basic augmentations and any image dataset with stationary statistics. We show that for certain augmentations the optimum can be attained by a CNN whose first layer filters are sinusoids, followed by a pointwise nonlinearity, global average pooling, and a final linear layer that performs partial whitening. We also show that the optimal weights in such CNNs for more complicated augmentations are still sinusoids. The frequencies of the sinusoids and their weights can be computed using a simple waterfilling algorithm given the dataset's expected power spectrum. Experiments with different image datasets and augmentations show that such CNNs trained with SGD empirically learn sinusoids in their first layer and to perform partial whitening