Uma Representação Estacionária (e Portanto Compatível) é Tudo o que Você Precisa

Resumo

A aprendizagem de representações compatíveis visa aprender representações de características que possam ser intercambiadas ao longo do tempo sempre que um modelo sofrer atualizações. Neste artigo, demonstramos que representações estacionárias aprendidas por classificadores fixos d-Simplex implicam compatibilidade conforme sua definição formal. Esse resultado estabelece uma base para trabalhos futuros e pode ser diretamente explorado em cenários práticos de aprendizado. Abordamos o desafio de aprender compatibilidade usando classificadores fixos d-Simplex quando o modelo é ajustado finamente de forma sequencial. Aprender de acordo com um classificador fixo d-Simplex com a perda de entropia cruzada alinha as distribuições de características nas estatísticas de primeira ordem. Consequentemente, pode não capturar totalmente as dependências de ordem superior na representação entre atualizações do modelo. Para resolver esse problema, demonstramos que treinar o modelo usando um classificador fixo d-Simplex por meio de uma combinação convexa da perda de entropia cruzada e de uma perda contrastiva não apenas captura dependências de ordem superior, mas também equivale a aprender com a entropia cruzada sob as restrições de compatibilidade. Confirmamos nossas descobertas com experimentos extensos, considerando também um novo cenário em que um modelo pré-treinado é ajustado finamente de forma sequencial e ocasionalmente substituído por um modelo melhorado. Mostramos que representações estacionárias permitem serviços de recuperação ininterruptos (sem reprocessar imagens da galeria) enquanto melhoram o desempenho durante atualizações e substituições de modelos, alcançando o estado da arte. Código em https://github.com/miccunifi/iamcl2r.

English

Learning compatible representations aims to learn feature representations that can be used interchangeably over time whenever a model undergoes updates. In this paper, we demonstrate that stationary representations learned by d-Simplex fixed classifiers imply compatibility as in its formal definition. This result establishes a foundation for future works and can be directly exploited in practical learning scenarios. We address the challenge of learning compatibility using d-Simplex fixed classifiers when the model is sequentially fine-tuned. Learning according to a d-Simplex fixed classifier with the cross-entropy loss aligns feature distributions at the first-order statistics. Consequently, it may not fully capture higher-order dependencies in the representation between model updates. To address this issue, we demonstrate that training the model using a d-Simplex fixed classifier through a convex combination of the cross-entropy loss and a contrastive loss not only captures higher-order dependencies, but is also equivalent to learning with the cross-entropy under the compatibility constraints. We confirm our findings with extensive experiments also considering a new scenario where a pre-trained model is sequentially fine-tuned and occasionally replaced with an improved model. We show that stationary representations enable uninterrupted retrieval services (without reprocessing gallery images) while improving performance during model updates and replacements, achieving state-of-the-art. Code at https://github.com/miccunifi/iamcl2r.