Augmentations de Champs Aléatoires pour l'Apprentissage de Représentations Auto-Supervisé

Random Field Augmentations for Self-Supervised Representation Learning

November 7, 2023

Auteurs: Philip Andrew Mansfield, Arash Afkanpour, Warren Richard Morningstar, Karan Singhal

cs.AI

Résumé

L'apprentissage de représentations auto-supervisé dépend fortement des augmentations de données pour spécifier les invariances encodées dans les représentations. Les travaux précédents ont montré que l'application d'augmentations de données diversifiées est cruciale pour les performances en aval, mais les techniques d'augmentation restent peu explorées. Dans ce travail, nous proposons une nouvelle famille de transformations locales basées sur des champs aléatoires gaussiens pour générer des augmentations d'images pour l'apprentissage de représentations auto-supervisé. Ces transformations généralisent les transformations affines et de couleur bien établies (translation, rotation, variation de couleur, etc.) et augmentent considérablement l'espace des augmentations en permettant aux valeurs des paramètres de transformation de varier d'un pixel à l'autre. Les paramètres sont traités comme des fonctions continues des coordonnées spatiales et modélisés comme des champs aléatoires gaussiens indépendants. Les résultats empiriques montrent l'efficacité des nouvelles transformations pour l'apprentissage de représentations auto-supervisé. Plus précisément, nous obtenons une amélioration de 1,7 % de la précision top-1 par rapport à la ligne de base sur la classification en aval d'ImageNet, et une amélioration de 3,6 % sur la classification en aval hors distribution d'iNaturalist. Cependant, en raison de la flexibilité des nouvelles transformations, les représentations apprises sont sensibles aux hyperparamètres. Alors que des transformations modérées améliorent les représentations, nous observons que des transformations fortes peuvent dégrader la structure d'une image, indiquant qu'il est important d'équilibrer la diversité et la force des augmentations pour améliorer la généralisation des représentations apprises.

English

Self-supervised representation learning is heavily dependent on data augmentations to specify the invariances encoded in representations. Previous work has shown that applying diverse data augmentations is crucial to downstream performance, but augmentation techniques remain under-explored. In this work, we propose a new family of local transformations based on Gaussian random fields to generate image augmentations for self-supervised representation learning. These transformations generalize the well-established affine and color transformations (translation, rotation, color jitter, etc.) and greatly increase the space of augmentations by allowing transformation parameter values to vary from pixel to pixel. The parameters are treated as continuous functions of spatial coordinates, and modeled as independent Gaussian random fields. Empirical results show the effectiveness of the new transformations for self-supervised representation learning. Specifically, we achieve a 1.7% top-1 accuracy improvement over baseline on ImageNet downstream classification, and a 3.6% improvement on out-of-distribution iNaturalist downstream classification. However, due to the flexibility of the new transformations, learned representations are sensitive to hyperparameters. While mild transformations improve representations, we observe that strong transformations can degrade the structure of an image, indicating that balancing the diversity and strength of augmentations is important for improving generalization of learned representations.