定常（したがって互換性のある）表現があれば十分

要旨

互換性のある表現の学習は、モデルが更新されるたびに、時間経過とともに交換可能に使用できる特徴表現を学習することを目的とする。本論文では、d-シンプレックス固定分類器によって学習された定常的な表現が、形式的な定義における互換性を満たすことを示す。この結果は将来の研究の基盤となり、実際の学習シナリオで直接活用できる。我々は、モデルが逐次的にファインチューニングされる場合に、d-シンプレックス固定分類器を用いて互換性を学習するという課題に取り組む。d-シンプレックス固定分類器をクロスエントロピー損失とともに用いた学習は、特徴分布を一次統計量で一致させる。その結果、モデル更新間の表現における高次の依存関係を完全に捉えることができない可能性がある。この問題に対処するため、クロスエントロピー損失と対照損失の凸結合を通じてd-シンプレックス固定分類器を用いてモデルを訓練することが、高次の依存関係を捉えるだけでなく、互換性制約下でのクロスエントロピー学習と等価であることを示す。我々は、事前学習済みモデルが逐次的にファインチューニングされ、時折改良モデルに置き換えられるという新しいシナリオも考慮した広範な実験により、我々の発見を確認する。定常的な表現により、モデルの更新や置き換え時に性能を向上させつつ、中断のない検索サービス（ギャラリー画像の再処理不要）が可能となり、最先端の成果を達成することを示す。コードは https://github.com/miccunifi/iamcl2r で公開している。

English

Learning compatible representations aims to learn feature representations that can be used interchangeably over time whenever a model undergoes updates. In this paper, we demonstrate that stationary representations learned by d-Simplex fixed classifiers imply compatibility as in its formal definition. This result establishes a foundation for future works and can be directly exploited in practical learning scenarios. We address the challenge of learning compatibility using d-Simplex fixed classifiers when the model is sequentially fine-tuned. Learning according to a d-Simplex fixed classifier with the cross-entropy loss aligns feature distributions at the first-order statistics. Consequently, it may not fully capture higher-order dependencies in the representation between model updates. To address this issue, we demonstrate that training the model using a d-Simplex fixed classifier through a convex combination of the cross-entropy loss and a contrastive loss not only captures higher-order dependencies, but is also equivalent to learning with the cross-entropy under the compatibility constraints. We confirm our findings with extensive experiments also considering a new scenario where a pre-trained model is sequentially fine-tuned and occasionally replaced with an improved model. We show that stationary representations enable uninterrupted retrieval services (without reprocessing gallery images) while improving performance during model updates and replacements, achieving state-of-the-art. Code at https://github.com/miccunifi/iamcl2r.