Une représentation stationnaire (et donc compatible) est tout ce qu’il vous faut.

Résumé

L'apprentissage de représentations compatibles vise à apprendre des représentations de caractéristiques qui peuvent être utilisées de manière interchangeable au fil du temps lorsqu'un modèle subit des mises à jour. Dans cet article, nous démontrons que les représentations stationnaires apprises par des classifieurs fixes d-Simplex impliquent une compatibilité selon sa définition formelle. Ce résultat établit une base pour les travaux futurs et peut être directement exploité dans des scénarios d'apprentissage pratiques. Nous abordons le défi de l'apprentissage de la compatibilité en utilisant des classifieurs fixes d-Simplex lorsque le modèle est affiné séquentiellement. L'apprentissage selon un classifieur fixe d-Simplex avec la perte d'entropie croisée aligne les distributions de caractéristiques au niveau des statistiques de premier ordre. Par conséquent, il peut ne pas capturer pleinement les dépendances d'ordre supérieur dans la représentation entre les mises à jour du modèle. Pour résoudre ce problème, nous démontrons que l'entraînement du modèle en utilisant un classifieur fixe d-Simplex via une combinaison convexe de la perte d'entropie croisée et d'une perte contrastive capture non seulement les dépendances d'ordre supérieur, mais est également équivalent à l'apprentissage avec l'entropie croisée sous les contraintes de compatibilité. Nous confirmons nos résultats avec des expériences approfondies en considérant également un nouveau scénario où un modèle pré-entraîné est affiné séquentiellement et occasionnellement remplacé par un modèle amélioré. Nous montrons que les représentations stationnaires permettent des services de récupération ininterrompus (sans retraiter les images de la galerie) tout en améliorant les performances lors des mises à jour et des remplacements de modèles, atteignant un état de l'art. Code disponible à https://github.com/miccunifi/iamcl2r.

English

Learning compatible representations aims to learn feature representations that can be used interchangeably over time whenever a model undergoes updates. In this paper, we demonstrate that stationary representations learned by d-Simplex fixed classifiers imply compatibility as in its formal definition. This result establishes a foundation for future works and can be directly exploited in practical learning scenarios. We address the challenge of learning compatibility using d-Simplex fixed classifiers when the model is sequentially fine-tuned. Learning according to a d-Simplex fixed classifier with the cross-entropy loss aligns feature distributions at the first-order statistics. Consequently, it may not fully capture higher-order dependencies in the representation between model updates. To address this issue, we demonstrate that training the model using a d-Simplex fixed classifier through a convex combination of the cross-entropy loss and a contrastive loss not only captures higher-order dependencies, but is also equivalent to learning with the cross-entropy under the compatibility constraints. We confirm our findings with extensive experiments also considering a new scenario where a pre-trained model is sequentially fine-tuned and occasionally replaced with an improved model. We show that stationary representations enable uninterrupted retrieval services (without reprocessing gallery images) while improving performance during model updates and replacements, achieving state-of-the-art. Code at https://github.com/miccunifi/iamcl2r.