Случайные преобразования полей для самообучения представлений

Random Field Augmentations for Self-Supervised Representation Learning

November 7, 2023

Авторы: Philip Andrew Mansfield, Arash Afkanpour, Warren Richard Morningstar, Karan Singhal

cs.AI

Аннотация

Самообучение представлений в значительной степени зависит от аугментации данных для задания инвариантностей, закодированных в представлениях. Предыдущие исследования показали, что применение разнообразных аугментаций данных критически важно для производительности на последующих задачах, однако методы аугментации остаются недостаточно изученными. В данной работе мы предлагаем новое семейство локальных преобразований на основе гауссовских случайных полей для генерации аугментаций изображений в задачах самообучения представлений. Эти преобразования обобщают хорошо известные аффинные и цветовые преобразования (сдвиг, поворот, изменение цвета и т.д.) и значительно расширяют пространство аугментаций, позволяя значениям параметров преобразований варьироваться от пикселя к пикселю. Параметры рассматриваются как непрерывные функции пространственных координат и моделируются как независимые гауссовские случайные поля. Эмпирические результаты демонстрируют эффективность новых преобразований для самообучения представлений. В частности, мы достигаем улучшения точности top-1 на 1,7% по сравнению с базовым подходом на задаче классификации ImageNet и улучшения на 3,6% на задаче классификации out-of-distribution на наборе данных iNaturalist. Однако из-за гибкости новых преобразований обученные представления чувствительны к гиперпараметрам. В то время как умеренные преобразования улучшают представления, мы наблюдаем, что сильные преобразования могут разрушать структуру изображения, что указывает на важность баланса между разнообразием и силой аугментаций для улучшения обобщающей способности обученных представлений.

English

Self-supervised representation learning is heavily dependent on data augmentations to specify the invariances encoded in representations. Previous work has shown that applying diverse data augmentations is crucial to downstream performance, but augmentation techniques remain under-explored. In this work, we propose a new family of local transformations based on Gaussian random fields to generate image augmentations for self-supervised representation learning. These transformations generalize the well-established affine and color transformations (translation, rotation, color jitter, etc.) and greatly increase the space of augmentations by allowing transformation parameter values to vary from pixel to pixel. The parameters are treated as continuous functions of spatial coordinates, and modeled as independent Gaussian random fields. Empirical results show the effectiveness of the new transformations for self-supervised representation learning. Specifically, we achieve a 1.7% top-1 accuracy improvement over baseline on ImageNet downstream classification, and a 3.6% improvement on out-of-distribution iNaturalist downstream classification. However, due to the flexibility of the new transformations, learned representations are sensitive to hyperparameters. While mild transformations improve representations, we observe that strong transformations can degrade the structure of an image, indicating that balancing the diversity and strength of augmentations is important for improving generalization of learned representations.