Agrupar y Predecir Parches Latentes para un Mejor Modelado de Imágenes Enmascaradas

Cluster and Predict Latents Patches for Improved Masked Image Modeling

February 12, 2025

Autores: Timothée Darcet, Federico Baldassarre, Maxime Oquab, Julien Mairal, Piotr Bojanowski

cs.AI

Resumen

El Modelado de Imágenes Enmascaradas (MIM, por sus siglas en inglés) ofrece un enfoque prometedor para el aprendizaje de representaciones auto-supervisado; sin embargo, los modelos MIM existentes aún se quedan atrás respecto al estado del arte. En este artículo, analizamos sistemáticamente las representaciones objetivo, las funciones de pérdida y las arquitecturas para presentar CAPI, un novedoso marco de trabajo puramente MIM que se basa en la predicción de agrupamientos latentes. Nuestro enfoque aprovecha una función de pérdida basada en agrupamientos, que es estable para entrenar y muestra propiedades prometedoras de escalabilidad. Nuestro modelo base ViT-L, CAPI, alcanza un 83.8% de precisión en ImageNet y un 32.1% de mIoU en ADE20K con simples pruebas lineales, superando sustancialmente a los métodos MIM anteriores y acercándose al rendimiento del estado del arte actual, DINOv2. Publicamos todo nuestro código y modelos.

English

Masked Image Modeling (MIM) offers a promising approach to self-supervised representation learning, however existing MIM models still lag behind the state-of-the-art. In this paper, we systematically analyze target representations, loss functions, and architectures, to introduce CAPI - a novel pure-MIM framework that relies on the prediction of latent clusterings. Our approach leverages a clustering-based loss, which is stable to train, and exhibits promising scaling properties. Our ViT-L backbone, CAPI, achieves 83.8% accuracy on ImageNet and 32.1% mIoU on ADE20K with simple linear probes, substantially outperforming previous MIM methods and approaching the performance of the current state-of-the-art, DINOv2. We release all our code and models.