Raggruppa e Prevedi Patch Latenti per un Migliorato Modellamento di Immagini Maschere

Cluster and Predict Latents Patches for Improved Masked Image Modeling

February 12, 2025

Autori: Timothée Darcet, Federico Baldassarre, Maxime Oquab, Julien Mairal, Piotr Bojanowski

cs.AI

Abstract

Il Masked Image Modeling (MIM) offre un approccio promettente per l'apprendimento auto-supervisionato di rappresentazioni, tuttavia i modelli MIM esistenti rimangono ancora indietro rispetto allo stato dell'arte. In questo articolo, analizziamo sistematicamente le rappresentazioni target, le funzioni di perdita e le architetture, per introdurre CAPI, un nuovo framework puramente MIM che si basa sulla previsione di raggruppamenti latenti. Il nostro approccio sfrutta una funzione di perdita basata sul clustering, che è stabile da addestrare e mostra promettenti proprietà di scalabilità. La nostra architettura ViT-L, CAPI, raggiunge un'accuratezza dell'83,8% su ImageNet e un mIoU del 32,1% su ADE20K con semplici probe lineari, superando significativamente i precedenti metodi MIM e avvicinandosi alle prestazioni dello stato dell'arte attuale, DINOv2. Rilasciamo tutto il nostro codice e i modelli.

English

Masked Image Modeling (MIM) offers a promising approach to self-supervised representation learning, however existing MIM models still lag behind the state-of-the-art. In this paper, we systematically analyze target representations, loss functions, and architectures, to introduce CAPI - a novel pure-MIM framework that relies on the prediction of latent clusterings. Our approach leverages a clustering-based loss, which is stable to train, and exhibits promising scaling properties. Our ViT-L backbone, CAPI, achieves 83.8% accuracy on ImageNet and 32.1% mIoU on ADE20K with simple linear probes, substantially outperforming previous MIM methods and approaching the performance of the current state-of-the-art, DINOv2. We release all our code and models.