Een stationaire (en daarmee compatibele) representatie is alles wat je nodig hebt.

Samenvatting

Het leren van compatibele representaties heeft als doel kenmerkrepresentaties te leren die in de loop van de tijd uitwisselbaar kunnen worden gebruikt wanneer een model updates ondergaat. In dit artikel tonen we aan dat stationaire representaties die worden geleerd door d-Simplex vaste classifiers compatibiliteit impliceren zoals in de formele definitie. Dit resultaat legt een basis voor toekomstig werk en kan direct worden benut in praktische leerscenario's. We pakken de uitdaging aan van het leren van compatibiliteit met behulp van d-Simplex vaste classifiers wanneer het model sequentieel fijn wordt afgesteld. Leren volgens een d-Simplex vaste classifier met het kruisentropieverlies stemt kenmerkverdelingen af op eerste-orde statistieken. Bijgevolg kan het mogelijk niet volledig de hogere-orde afhankelijkheden in de representatie tussen modelupdates vastleggen. Om dit probleem aan te pakken, tonen we aan dat het trainen van het model met behulp van een d-Simplex vaste classifier via een convexe combinatie van het kruisentropieverlies en een contrastief verlies niet alleen hogere-orde afhankelijkheden vastlegt, maar ook equivalent is aan leren met de kruisentropie onder de compatibiliteitsbeperkingen. We bevestigen onze bevindingen met uitgebreide experimenten, waarbij we ook een nieuw scenario overwegen waarin een voorgetraind model sequentieel fijn wordt afgesteld en af en toe wordt vervangen door een verbeterd model. We laten zien dat stationaire representaties ononderbroken retrievaldiensten mogelijk maken (zonder galerijbeelden opnieuw te verwerken) terwijl de prestaties tijdens modelupdates en -vervangingen verbeteren, wat resulteert in state-of-the-art prestaties. Code op https://github.com/miccunifi/iamcl2r.

English

Learning compatible representations aims to learn feature representations that can be used interchangeably over time whenever a model undergoes updates. In this paper, we demonstrate that stationary representations learned by d-Simplex fixed classifiers imply compatibility as in its formal definition. This result establishes a foundation for future works and can be directly exploited in practical learning scenarios. We address the challenge of learning compatibility using d-Simplex fixed classifiers when the model is sequentially fine-tuned. Learning according to a d-Simplex fixed classifier with the cross-entropy loss aligns feature distributions at the first-order statistics. Consequently, it may not fully capture higher-order dependencies in the representation between model updates. To address this issue, we demonstrate that training the model using a d-Simplex fixed classifier through a convex combination of the cross-entropy loss and a contrastive loss not only captures higher-order dependencies, but is also equivalent to learning with the cross-entropy under the compatibility constraints. We confirm our findings with extensive experiments also considering a new scenario where a pre-trained model is sequentially fine-tuned and occasionally replaced with an improved model. We show that stationary representations enable uninterrupted retrieval services (without reprocessing gallery images) while improving performance during model updates and replacements, achieving state-of-the-art. Code at https://github.com/miccunifi/iamcl2r.