Aumentações de Campo Aleatório para Aprendizado de Representação Auto-Supervisionado

Random Field Augmentations for Self-Supervised Representation Learning

November 7, 2023

Autores: Philip Andrew Mansfield, Arash Afkanpour, Warren Richard Morningstar, Karan Singhal

cs.AI

Resumo

O aprendizado de representações auto-supervisionado depende fortemente de aumentos de dados para especificar as invariâncias codificadas nas representações. Trabalhos anteriores mostraram que a aplicação de aumentos de dados diversos é crucial para o desempenho em tarefas subsequentes, mas as técnicas de aumento ainda são pouco exploradas. Neste trabalho, propomos uma nova família de transformações locais baseadas em campos aleatórios gaussianos para gerar aumentos de imagens para o aprendizado de representações auto-supervisionado. Essas transformações generalizam as bem estabelecidas transformações afins e de cor (translação, rotação, variação de cor, etc.) e aumentam significativamente o espaço de aumentos ao permitir que os valores dos parâmetros de transformação variem de pixel para pixel. Os parâmetros são tratados como funções contínuas das coordenadas espaciais e modelados como campos aleatórios gaussianos independentes. Resultados empíricos mostram a eficácia das novas transformações para o aprendizado de representações auto-supervisionado. Especificamente, alcançamos uma melhoria de 1,7% na acurácia top-1 em relação à linha de base na classificação subsequente do ImageNet e uma melhoria de 3,6% na classificação subsequente do iNaturalist fora da distribuição. No entanto, devido à flexibilidade das novas transformações, as representações aprendidas são sensíveis aos hiperparâmetros. Enquanto transformações suaves melhoram as representações, observamos que transformações fortes podem degradar a estrutura de uma imagem, indicando que equilibrar a diversidade e a força dos aumentos é importante para melhorar a generalização das representações aprendidas.

English

Self-supervised representation learning is heavily dependent on data augmentations to specify the invariances encoded in representations. Previous work has shown that applying diverse data augmentations is crucial to downstream performance, but augmentation techniques remain under-explored. In this work, we propose a new family of local transformations based on Gaussian random fields to generate image augmentations for self-supervised representation learning. These transformations generalize the well-established affine and color transformations (translation, rotation, color jitter, etc.) and greatly increase the space of augmentations by allowing transformation parameter values to vary from pixel to pixel. The parameters are treated as continuous functions of spatial coordinates, and modeled as independent Gaussian random fields. Empirical results show the effectiveness of the new transformations for self-supervised representation learning. Specifically, we achieve a 1.7% top-1 accuracy improvement over baseline on ImageNet downstream classification, and a 3.6% improvement on out-of-distribution iNaturalist downstream classification. However, due to the flexibility of the new transformations, learned representations are sensitive to hyperparameters. While mild transformations improve representations, we observe that strong transformations can degrade the structure of an image, indicating that balancing the diversity and strength of augmentations is important for improving generalization of learned representations.