Aumentazioni con Campi Casuali per l'Apprendimento di Rappresentazioni Auto-Supervisionate
Random Field Augmentations for Self-Supervised Representation Learning
November 7, 2023
Autori: Philip Andrew Mansfield, Arash Afkanpour, Warren Richard Morningstar, Karan Singhal
cs.AI
Abstract
L'apprendimento di rappresentazioni self-supervised dipende fortemente dalle tecniche di data augmentation per specificare le invarianze codificate nelle rappresentazioni. Ricerche precedenti hanno dimostrato che l'applicazione di data augmentation diversificati è cruciale per le prestazioni downstream, ma le tecniche di augmentation rimangono ancora poco esplorate. In questo lavoro, proponiamo una nuova famiglia di trasformazioni locali basate su campi casuali gaussiani per generare augmentazioni di immagini per l'apprendimento di rappresentazioni self-supervised. Queste trasformazioni generalizzano le ben consolidate trasformazioni affini e di colore (traslazione, rotazione, color jitter, ecc.) e ampliano notevolmente lo spazio delle augmentazioni consentendo ai valori dei parametri di trasformazione di variare da pixel a pixel. I parametri sono trattati come funzioni continue delle coordinate spaziali e modellati come campi casuali gaussiani indipendenti. I risultati empirici dimostrano l'efficacia delle nuove trasformazioni per l'apprendimento di rappresentazioni self-supervised. In particolare, otteniamo un miglioramento dell'1,7% nell'accuratezza top-1 rispetto al baseline nella classificazione downstream su ImageNet e un miglioramento del 3,6% nella classificazione downstream su iNaturalist out-of-distribution. Tuttavia, a causa della flessibilità delle nuove trasformazioni, le rappresentazioni apprese sono sensibili agli iperparametri. Mentre trasformazioni moderate migliorano le rappresentazioni, osserviamo che trasformazioni forti possono degradare la struttura di un'immagine, indicando che bilanciare la diversità e la forza delle augmentazioni è importante per migliorare la generalizzazione delle rappresentazioni apprese.
English
Self-supervised representation learning is heavily dependent on data
augmentations to specify the invariances encoded in representations. Previous
work has shown that applying diverse data augmentations is crucial to
downstream performance, but augmentation techniques remain under-explored. In
this work, we propose a new family of local transformations based on Gaussian
random fields to generate image augmentations for self-supervised
representation learning. These transformations generalize the well-established
affine and color transformations (translation, rotation, color jitter, etc.)
and greatly increase the space of augmentations by allowing transformation
parameter values to vary from pixel to pixel. The parameters are treated as
continuous functions of spatial coordinates, and modeled as independent
Gaussian random fields. Empirical results show the effectiveness of the new
transformations for self-supervised representation learning. Specifically, we
achieve a 1.7% top-1 accuracy improvement over baseline on ImageNet downstream
classification, and a 3.6% improvement on out-of-distribution iNaturalist
downstream classification. However, due to the flexibility of the new
transformations, learned representations are sensitive to hyperparameters.
While mild transformations improve representations, we observe that strong
transformations can degrade the structure of an image, indicating that
balancing the diversity and strength of augmentations is important for
improving generalization of learned representations.