Cluster en Voorspel Latente Patches voor Verbeterd Gemaskeerd Afbeeldingsmodelleren

Cluster and Predict Latents Patches for Improved Masked Image Modeling

February 12, 2025

Auteurs: Timothée Darcet, Federico Baldassarre, Maxime Oquab, Julien Mairal, Piotr Bojanowski

cs.AI

Samenvatting

Masked Image Modeling (MIM) biedt een veelbelovende benadering voor zelf-gesuperviseerd representatie leren, maar bestaande MIM-modellen blijven achter bij de state-of-the-art. In dit artikel analyseren we systematisch doelrepresentaties, verliesfuncties en architecturen om CAPI te introduceren - een nieuw puur-MIM raamwerk dat steunt op het voorspellen van latente clusteringen. Onze aanpak maakt gebruik van een clustering-gebaseerde verliesfunctie, die stabiel is om te trainen en veelbelovende schaaleigenschappen vertoont. Onze ViT-L backbone, CAPI, behaalt een nauwkeurigheid van 83,8% op ImageNet en 32,1% mIoU op ADE20K met eenvoudige lineaire probes, wat aanzienlijk beter presteert dan eerdere MIM-methoden en de prestaties van de huidige state-of-the-art, DINOv2, benadert. We maken al onze code en modellen openbaar.

English

Masked Image Modeling (MIM) offers a promising approach to self-supervised representation learning, however existing MIM models still lag behind the state-of-the-art. In this paper, we systematically analyze target representations, loss functions, and architectures, to introduce CAPI - a novel pure-MIM framework that relies on the prediction of latent clusterings. Our approach leverages a clustering-based loss, which is stable to train, and exhibits promising scaling properties. Our ViT-L backbone, CAPI, achieves 83.8% accuracy on ImageNet and 32.1% mIoU on ADE20K with simple linear probes, substantially outperforming previous MIM methods and approaching the performance of the current state-of-the-art, DINOv2. We release all our code and models.