Zufällige Feld-Erweiterungen für selbstüberwachtes Repräsentationslernen

Random Field Augmentations for Self-Supervised Representation Learning

November 7, 2023

Autoren: Philip Andrew Mansfield, Arash Afkanpour, Warren Richard Morningstar, Karan Singhal

cs.AI

Zusammenfassung

Das selbstüberwachte Repräsentationslernen ist stark von Datenaugmentationen abhängig, um die Invarianzen zu spezifizieren, die in den Repräsentationen kodiert sind. Frühere Arbeiten haben gezeigt, dass die Anwendung vielfältiger Datenaugmentationen entscheidend für die nachgelagerte Leistung ist, doch die Techniken der Augmentation bleiben weitgehend unerforscht. In dieser Arbeit schlagen wir eine neue Familie lokaler Transformationen vor, die auf Gaußschen Zufallsfeldern basieren, um Bildaugmentationen für das selbstüberwachte Repräsentationslernen zu erzeugen. Diese Transformationen verallgemeinern die etablierten affinen und Farbtransformationen (Verschiebung, Rotation, Farbjitter etc.) und erweitern den Raum der Augmentationen erheblich, indem sie es ermöglichen, dass die Transformationsparameterwerte von Pixel zu Pixel variieren. Die Parameter werden als kontinuierliche Funktionen der räumlichen Koordinaten behandelt und als unabhängige Gaußsche Zufallsfelder modelliert. Empirische Ergebnisse zeigen die Wirksamkeit der neuen Transformationen für das selbstüberwachte Repräsentationslernen. Konkret erzielen wir eine Verbesserung der Top-1-Genauigkeit um 1,7 % gegenüber der Baseline bei der nachgelagerten Klassifikation auf ImageNet und eine Verbesserung um 3,6 % bei der nachgelagerten Klassifikation auf der Out-of-Distribution-Datenbank iNaturalist. Aufgrund der Flexibilität der neuen Transformationen sind die gelernten Repräsentationen jedoch empfindlich gegenüber Hyperparametern. Während milde Transformationen die Repräsentationen verbessern, beobachten wir, dass starke Transformationen die Struktur eines Bildes beeinträchtigen können, was darauf hindeutet, dass die Balance zwischen der Vielfalt und der Stärke der Augmentationen wichtig ist, um die Generalisierung der gelernten Repräsentationen zu verbessern.

English

Self-supervised representation learning is heavily dependent on data augmentations to specify the invariances encoded in representations. Previous work has shown that applying diverse data augmentations is crucial to downstream performance, but augmentation techniques remain under-explored. In this work, we propose a new family of local transformations based on Gaussian random fields to generate image augmentations for self-supervised representation learning. These transformations generalize the well-established affine and color transformations (translation, rotation, color jitter, etc.) and greatly increase the space of augmentations by allowing transformation parameter values to vary from pixel to pixel. The parameters are treated as continuous functions of spatial coordinates, and modeled as independent Gaussian random fields. Empirical results show the effectiveness of the new transformations for self-supervised representation learning. Specifically, we achieve a 1.7% top-1 accuracy improvement over baseline on ImageNet downstream classification, and a 3.6% improvement on out-of-distribution iNaturalist downstream classification. However, due to the flexibility of the new transformations, learned representations are sensitive to hyperparameters. While mild transformations improve representations, we observe that strong transformations can degrade the structure of an image, indicating that balancing the diversity and strength of augmentations is important for improving generalization of learned representations.