潜在パッチのクラスタリングと予測によるマスク画像モデリングの改善

Cluster and Predict Latents Patches for Improved Masked Image Modeling

February 12, 2025

著者: Timothée Darcet, Federico Baldassarre, Maxime Oquab, Julien Mairal, Piotr Bojanowski

cs.AI

要旨

Masked Image Modeling (MIM)は、自己教師あり表現学習において有望なアプローチを提供しますが、既存のMIMモデルは依然として最先端の性能に遅れを取っています。本論文では、ターゲット表現、損失関数、およびアーキテクチャを体系的に分析し、潜在クラスタリングの予測に依存する新しい純粋MIMフレームワークであるCAPIを提案します。私たちのアプローチは、学習が安定しており、スケーリング特性が有望なクラスタリングベースの損失を活用しています。私たちのViT-LバックボーンであるCAPIは、シンプルな線形プローブを用いてImageNetで83.8%の精度、ADE20Kで32.1%のmIoUを達成し、従来のMIM手法を大幅に上回り、現在の最先端であるDINOv2の性能に迫る結果を示しています。私たちはすべてのコードとモデルを公開します。

English

Masked Image Modeling (MIM) offers a promising approach to self-supervised representation learning, however existing MIM models still lag behind the state-of-the-art. In this paper, we systematically analyze target representations, loss functions, and architectures, to introduce CAPI - a novel pure-MIM framework that relies on the prediction of latent clusterings. Our approach leverages a clustering-based loss, which is stable to train, and exhibits promising scaling properties. Our ViT-L backbone, CAPI, achieves 83.8% accuracy on ImageNet and 32.1% mIoU on ADE20K with simple linear probes, substantially outperforming previous MIM methods and approaching the performance of the current state-of-the-art, DINOv2. We release all our code and models.