Het voorspellen van gemaskeerde tokens in stochastische locaties verbetert gemaskeerde beeldmodellering.

Predicting masked tokens in stochastic locations improves masked image modeling

July 31, 2023

Auteurs: Amir Bar, Florian Bordes, Assaf Shocher, Mahmoud Assran, Pascal Vincent, Nicolas Ballas, Trevor Darrell, Amir Globerson, Yann LeCun

cs.AI

Samenvatting

Zelfsupervised leren is een veelbelovend paradigma in deep learning dat het mogelijk maakt om te leren van ongelabelde data door pretexttaken te construeren die het leren van nuttige representaties vereisen. In natuurlijke taalverwerking is de dominante pretexttaak gemaskeerd taalmodelleren (MLM), terwijl in computervisie een equivalent bestaat genaamd Gemaskeerd Beeldmodelleren (MIM). MIM is echter uitdagend omdat het vereist dat semantische inhoud op nauwkeurige locaties wordt voorspeld. Bijvoorbeeld, gegeven een onvolledige afbeelding van een hond, kunnen we raden dat er een staart is, maar we kunnen de exacte locatie ervan niet bepalen. In dit werk stellen we FlexPredict voor, een stochastisch model dat deze uitdaging aanpakt door locatieonzekerheid in het model te integreren. Specifiek conditioneren we het model op stochastische gemaskeerde tokenposities om het model te begeleiden naar het leren van kenmerken die robuuster zijn tegen locatieonzekerheden. Onze aanpak verbetert de downstreamprestaties op een reeks taken; vergeleken met MIM-baselines verhoogt FlexPredict bijvoorbeeld ImageNet lineair testen met 1,6% bij ViT-B en met 2,5% voor semi-supervisie videosegmentatie met ViT-L.

English

Self-supervised learning is a promising paradigm in deep learning that enables learning from unlabeled data by constructing pretext tasks that require learning useful representations. In natural language processing, the dominant pretext task has been masked language modeling (MLM), while in computer vision there exists an equivalent called Masked Image Modeling (MIM). However, MIM is challenging because it requires predicting semantic content in accurate locations. E.g, given an incomplete picture of a dog, we can guess that there is a tail, but we cannot determine its exact location. In this work, we propose FlexPredict, a stochastic model that addresses this challenge by incorporating location uncertainty into the model. Specifically, we condition the model on stochastic masked token positions to guide the model toward learning features that are more robust to location uncertainties. Our approach improves downstream performance on a range of tasks, e.g, compared to MIM baselines, FlexPredict boosts ImageNet linear probing by 1.6% with ViT-B and by 2.5% for semi-supervised video segmentation using ViT-L.