Random Field Augmentaties voor Zelfsupervisie Representatie Leren

Random Field Augmentations for Self-Supervised Representation Learning

November 7, 2023

Auteurs: Philip Andrew Mansfield, Arash Afkanpour, Warren Richard Morningstar, Karan Singhal

cs.AI

Samenvatting

Zelfgesuperviseerd representatieleren is sterk afhankelijk van data-augmentaties om de invarianties te specificeren die in representaties zijn gecodeerd. Eerder onderzoek heeft aangetoond dat het toepassen van diverse data-augmentaties cruciaal is voor de prestaties in downstream taken, maar augmentatietechnieken blijven onderbelicht. In dit werk stellen we een nieuwe familie van lokale transformaties voor, gebaseerd op Gaussische willekeurige velden, om beeldaugmentaties te genereren voor zelfgesuperviseerd representatieleren. Deze transformaties generaliseren de goed ingeburgerde affiene en kleurtransformaties (translatie, rotatie, kleurjitter, etc.) en vergroten de ruimte van augmentaties aanzienlijk door toe te staan dat transformatieparameterwaarden per pixel variëren. De parameters worden behandeld als continue functies van ruimtelijke coördinaten en gemodelleerd als onafhankelijke Gaussische willekeurige velden. Empirische resultaten tonen de effectiviteit van de nieuwe transformaties voor zelfgesuperviseerd representatieleren. Specifiek behalen we een verbetering van 1,7% in top-1 nauwkeurigheid ten opzichte van de baseline op downstream classificatie van ImageNet, en een verbetering van 3,6% op downstream classificatie van out-of-distribution iNaturalist. Echter, vanwege de flexibiliteit van de nieuwe transformaties, zijn geleerde representaties gevoelig voor hyperparameters. Hoewel milde transformaties representaties verbeteren, observeren we dat sterke transformaties de structuur van een beeld kunnen aantasten, wat aangeeft dat het balanceren van de diversiteit en sterkte van augmentaties belangrijk is voor het verbeteren van de generalisatie van geleerde representaties.

English

Self-supervised representation learning is heavily dependent on data augmentations to specify the invariances encoded in representations. Previous work has shown that applying diverse data augmentations is crucial to downstream performance, but augmentation techniques remain under-explored. In this work, we propose a new family of local transformations based on Gaussian random fields to generate image augmentations for self-supervised representation learning. These transformations generalize the well-established affine and color transformations (translation, rotation, color jitter, etc.) and greatly increase the space of augmentations by allowing transformation parameter values to vary from pixel to pixel. The parameters are treated as continuous functions of spatial coordinates, and modeled as independent Gaussian random fields. Empirical results show the effectiveness of the new transformations for self-supervised representation learning. Specifically, we achieve a 1.7% top-1 accuracy improvement over baseline on ImageNet downstream classification, and a 3.6% improvement on out-of-distribution iNaturalist downstream classification. However, due to the flexibility of the new transformations, learned representations are sensitive to hyperparameters. While mild transformations improve representations, we observe that strong transformations can degrade the structure of an image, indicating that balancing the diversity and strength of augmentations is important for improving generalization of learned representations.