La previsione di token mascherati in posizioni stocastiche migliora la modellazione di immagini mascherate

Predicting masked tokens in stochastic locations improves masked image modeling

July 31, 2023

Autori: Amir Bar, Florian Bordes, Assaf Shocher, Mahmoud Assran, Pascal Vincent, Nicolas Ballas, Trevor Darrell, Amir Globerson, Yann LeCun

cs.AI

Abstract

L'apprendimento self-supervised è un paradigma promettente nel deep learning che consente di apprendere da dati non etichettati costruendo task preliminari (pretext tasks) che richiedono l'apprendimento di rappresentazioni utili. Nell'elaborazione del linguaggio naturale, il task preliminare dominante è stato il masked language modeling (MLM), mentre nella visione artificiale esiste un equivalente chiamato Masked Image Modeling (MIM). Tuttavia, il MIM è impegnativo perché richiede di prevedere contenuti semantici in posizioni precise. Ad esempio, data un'immagine incompleta di un cane, possiamo intuire che ci sia una coda, ma non possiamo determinarne la posizione esatta. In questo lavoro, proponiamo FlexPredict, un modello stocastico che affronta questa sfida incorporando l'incertezza di posizione nel modello. Nello specifico, condizioniamo il modello su posizioni stocastiche dei token mascherati per guidarlo verso l'apprendimento di feature più robuste rispetto alle incertezze di posizione. Il nostro approccio migliora le prestazioni downstream su una gamma di task; ad esempio, rispetto ai baseline MIM, FlexPredict aumenta la linear probing su ImageNet dell'1,6% con ViT-B e del 2,5% per la segmentazione video semi-supervisionata utilizzando ViT-L.

English

Self-supervised learning is a promising paradigm in deep learning that enables learning from unlabeled data by constructing pretext tasks that require learning useful representations. In natural language processing, the dominant pretext task has been masked language modeling (MLM), while in computer vision there exists an equivalent called Masked Image Modeling (MIM). However, MIM is challenging because it requires predicting semantic content in accurate locations. E.g, given an incomplete picture of a dog, we can guess that there is a tail, but we cannot determine its exact location. In this work, we propose FlexPredict, a stochastic model that addresses this challenge by incorporating location uncertainty into the model. Specifically, we condition the model on stochastic masked token positions to guide the model toward learning features that are more robust to location uncertainties. Our approach improves downstream performance on a range of tasks, e.g, compared to MIM baselines, FlexPredict boosts ImageNet linear probing by 1.6% with ViT-B and by 2.5% for semi-supervised video segmentation using ViT-L.