Cluster und Vorhersage latenter Patches zur Verbesserung der modellierten Bilder mit Maskierung.

Cluster and Predict Latents Patches for Improved Masked Image Modeling

February 12, 2025

Autoren: Timothée Darcet, Federico Baldassarre, Maxime Oquab, Julien Mairal, Piotr Bojanowski

cs.AI

Zusammenfassung

Die Masked Image Modeling (MIM) bietet einen vielversprechenden Ansatz für das selbstüberwachte Repräsentationslernen, jedoch hinken bestehende MIM-Modelle immer noch dem Stand der Technik hinterher. In diesem Paper analysieren wir systematisch Zielrepräsentationen, Verlustfunktionen und Architekturen, um CAPI vorzustellen - ein neuartiges rein auf MIM basierendes Framework, das auf der Vorhersage latenter Clusterings beruht. Unser Ansatz nutzt einen clusteringbasierten Verlust, der stabil trainierbar ist und vielversprechende Skalierungseigenschaften aufweist. Unser ViT-L-Backbone, CAPI, erreicht eine Genauigkeit von 83,8% auf ImageNet und eine mIoU von 32,1% auf ADE20K mit einfachen linearen Sonden, wobei es deutlich besser abschneidet als frühere MIM-Methoden und sich der Leistung des aktuellen Standes der Technik, DINOv2, annähert. Wir veröffentlichen unseren gesamten Code und unsere Modelle.

English

Masked Image Modeling (MIM) offers a promising approach to self-supervised representation learning, however existing MIM models still lag behind the state-of-the-art. In this paper, we systematically analyze target representations, loss functions, and architectures, to introduce CAPI - a novel pure-MIM framework that relies on the prediction of latent clusterings. Our approach leverages a clustering-based loss, which is stable to train, and exhibits promising scaling properties. Our ViT-L backbone, CAPI, achieves 83.8% accuracy on ImageNet and 32.1% mIoU on ADE20K with simple linear probes, substantially outperforming previous MIM methods and approaching the performance of the current state-of-the-art, DINOv2. We release all our code and models.