自然画像を用いた対比学習の理論

要旨

なぜ単純な画像とオーグメンテーションを用いた対照学習が、下流タスクに有用な表現をもたらすのか？本論文では、定常統計量を持つ任意の画像データセットと基本オーグメンテーションの範囲に対して、対照損失の観点から最適な表現を解析的に計算することでこの問題に取り組む。特定のオーグメンテーションに対しては、第一層のフィルタが正弦波であり、その後に要素ごとの非線形性、グローバル平均プーリング、そして部分的白化を行う最終線形層が続くCNNによって最適解が達成されることを示す。また、より複雑なオーグメンテーションにおいても、そのようなCNNの最適な重みは依然として正弦波であることを示す。正弦波の周波数とその重みは、データセットの期待パワースペクトルが与えられれば、単純な注水アルゴリズムを用いて計算できる。異なる画像データセットとオーグメンテーションを用いた実験により、SGDで学習されたそのようなCNNが、経験的に第一層で正弦波を学習し、部分的白化を行うことが示される。

English

Why does contrastive learning with simple images and augmentations yield useful representations for downstream tasks? We address this question by analytically computing the optimal representation in terms of a contrastive loss for a range of basic augmentations and any image dataset with stationary statistics. We show that for certain augmentations the optimum can be attained by a CNN whose first layer filters are sinusoids, followed by a pointwise nonlinearity, global average pooling, and a final linear layer that performs partial whitening. We also show that the optimal weights in such CNNs for more complicated augmentations are still sinusoids. The frequencies of the sinusoids and their weights can be computed using a simple waterfilling algorithm given the dataset's expected power spectrum. Experiments with different image datasets and augmentations show that such CNNs trained with SGD empirically learn sinusoids in their first layer and to perform partial whitening