Eine stationäre (und daher kompatible) Repräsentation ist alles, was man braucht.

Zusammenfassung

Lernen kompatibler Repräsentationen zielt darauf ab, Merkmalsdarstellungen zu lernen, die im Laufe der Zeit austauschbar verwendet werden können, wenn ein Modell aktualisiert wird. In dieser Arbeit zeigen wir, dass stationäre Repräsentationen, die durch d-Simplex-fixierte Klassifikatoren gelernt werden, Kompatibilität im Sinne ihrer formalen Definition implizieren. Dieses Ergebnis legt eine Grundlage für zukünftige Arbeiten und kann direkt in praktischen Lernszenarien genutzt werden. Wir befassen uns mit der Herausforderung, Kompatibilität mithilfe von d-Simplex-fixierten Klassifikatoren zu lernen, wenn das Modell sequenziell feinabgestimmt wird. Das Lernen gemäß einem d-Simplex-fixierten Klassifikator mit dem Kreuzentropieverlust gleicht Merkmalsverteilungen auf der Ebene der Statistiken erster Ordnung an. Folglich kann es höhergradige Abhängigkeiten in der Repräsentation zwischen Modellaktualisierungen möglicherweise nicht vollständig erfassen. Um dieses Problem zu lösen, zeigen wir, dass das Training des Modells mit einem d-Simplex-fixierten Klassifikator mittels einer konvexen Kombination des Kreuzentropieverlusts und eines kontrastiven Verlusts nicht nur höhergradige Abhängigkeiten erfasst, sondern auch äquivalent zum Lernen mit der Kreuzentropie unter Kompatibilitätsbedingungen ist. Wir bestätigen unsere Ergebnisse mit umfangreichen Experimenten, die auch ein neues Szenario berücksichtigen, bei dem ein vortrainiertes Modell sequenziell feinabgestimmt und gelegentlich durch ein verbessertes Modell ersetzt wird. Wir zeigen, dass stationäre Repräsentationen unterbrechungsfreie Abrufdienste ermöglichen (ohne erneute Verarbeitung von Galeriebildern), während die Leistung bei Modellaktualisierungen und -ersetzungen verbessert wird, und damit den State-of-the-Art erreichen. Code unter https://github.com/miccunifi/iamcl2r.

English

Learning compatible representations aims to learn feature representations that can be used interchangeably over time whenever a model undergoes updates. In this paper, we demonstrate that stationary representations learned by d-Simplex fixed classifiers imply compatibility as in its formal definition. This result establishes a foundation for future works and can be directly exploited in practical learning scenarios. We address the challenge of learning compatibility using d-Simplex fixed classifiers when the model is sequentially fine-tuned. Learning according to a d-Simplex fixed classifier with the cross-entropy loss aligns feature distributions at the first-order statistics. Consequently, it may not fully capture higher-order dependencies in the representation between model updates. To address this issue, we demonstrate that training the model using a d-Simplex fixed classifier through a convex combination of the cross-entropy loss and a contrastive loss not only captures higher-order dependencies, but is also equivalent to learning with the cross-entropy under the compatibility constraints. We confirm our findings with extensive experiments also considering a new scenario where a pre-trained model is sequentially fine-tuned and occasionally replaced with an improved model. We show that stationary representations enable uninterrupted retrieval services (without reprocessing gallery images) while improving performance during model updates and replacements, achieving state-of-the-art. Code at https://github.com/miccunifi/iamcl2r.