Agrupe e Preveja Patches Latentes para Melhorar a Modelagem de Imagens Mascaradas

Cluster and Predict Latents Patches for Improved Masked Image Modeling

February 12, 2025

Autores: Timothée Darcet, Federico Baldassarre, Maxime Oquab, Julien Mairal, Piotr Bojanowski

cs.AI

Resumo

A Modelagem de Imagem Mascarada (MIM) oferece uma abordagem promissora para o aprendizado de representação auto-supervisionado, porém os modelos MIM existentes ainda ficam aquém do estado da arte. Neste artigo, analisamos sistematicamente representações de destino, funções de perda e arquiteturas, para introduzir o CAPI - uma nova estrutura MIM pura que se baseia na previsão de agrupamentos latentes. Nossa abordagem utiliza uma função de perda baseada em agrupamento, que é estável para treinar e exibe propriedades promissoras de escalabilidade. Nossa arquitetura ViT-L, o CAPI, alcança 83,8% de precisão no ImageNet e 32,1% de mIoU no ADE20K com sondas lineares simples, superando substancialmente os métodos MIM anteriores e se aproximando do desempenho do estado da arte atual, o DINOv2. Disponibilizamos todo o nosso código e modelos.

English

Masked Image Modeling (MIM) offers a promising approach to self-supervised representation learning, however existing MIM models still lag behind the state-of-the-art. In this paper, we systematically analyze target representations, loss functions, and architectures, to introduce CAPI - a novel pure-MIM framework that relies on the prediction of latent clusterings. Our approach leverages a clustering-based loss, which is stable to train, and exhibits promising scaling properties. Our ViT-L backbone, CAPI, achieves 83.8% accuracy on ImageNet and 32.1% mIoU on ADE20K with simple linear probes, substantially outperforming previous MIM methods and approaching the performance of the current state-of-the-art, DINOv2. We release all our code and models.