Regroupement et prédiction des patchs latents pour un meilleur modèle de masquage d'image

Cluster and Predict Latents Patches for Improved Masked Image Modeling

February 12, 2025

Auteurs: Timothée Darcet, Federico Baldassarre, Maxime Oquab, Julien Mairal, Piotr Bojanowski

cs.AI

Résumé

La modélisation d'images masquées (MIM) propose une approche prometteuse pour l'apprentissage de représentations auto-supervisées, cependant les modèles MIM existants restent en retrait par rapport à l'état de l'art. Dans cet article, nous analysons systématiquement les représentations cibles, les fonctions de perte et les architectures, pour introduire CAPI - un nouveau cadre purement MIM qui repose sur la prédiction de regroupements latents. Notre approche exploite une fonction de perte basée sur le clustering, qui est stable à entraîner, et présente des propriétés de mise à l'échelle prometteuses. Notre architecture ViT-L, CAPI, atteint une précision de 83,8 % sur ImageNet et un mIoU de 32,1 % sur ADE20K avec de simples sondes linéaires, surpassant nettement les méthodes MIM précédentes et s'approchant des performances de l'état de l'art actuel, DINOv2. Nous mettons à disposition l'intégralité de notre code et de nos modèles.

English

Masked Image Modeling (MIM) offers a promising approach to self-supervised representation learning, however existing MIM models still lag behind the state-of-the-art. In this paper, we systematically analyze target representations, loss functions, and architectures, to introduce CAPI - a novel pure-MIM framework that relies on the prediction of latent clusterings. Our approach leverages a clustering-based loss, which is stable to train, and exhibits promising scaling properties. Our ViT-L backbone, CAPI, achieves 83.8% accuracy on ImageNet and 32.1% mIoU on ADE20K with simple linear probes, substantially outperforming previous MIM methods and approaching the performance of the current state-of-the-art, DINOv2. We release all our code and models.