Стационарное (и, следовательно, совместимое) представление — это всё, что вам нужно.

Аннотация

Изучение совместимых представлений направлено на получение признаковых представлений, которые могут взаимозаменяемо использоваться во времени при обновлении модели. В данной работе мы демонстрируем, что стационарные представления, полученные с помощью фиксированных классификаторов d-симплекса, подразумевают совместимость в её формальном определении. Этот результат закладывает основу для будущих исследований и может быть непосредственно использован в практических сценариях обучения. Мы решаем задачу обучения совместимости с использованием фиксированных классификаторов d-симплекса в случае последовательного дообучения модели. Обучение с помощью фиксированного классификатора d-симплекса с функцией потерь кросс-энтропии выравнивает распределения признаков по статистикам первого порядка. Следовательно, оно может не полностью учитывать зависимости более высокого порядка в представлении между обновлениями модели. Для решения этой проблемы мы демонстрируем, что обучение модели с использованием фиксированного классификатора d-симплекса через выпуклую комбинацию функции потерь кросс-энтропии и контрастной функции потерь не только учитывает зависимости более высокого порядка, но и эквивалентно обучению с кросс-энтропией при ограничениях совместимости. Мы подтверждаем наши выводы обширными экспериментами, также рассматривая новый сценарий, в котором предварительно обученная модель последовательно дообучается и время от времени заменяется улучшенной моделью. Мы показываем, что стационарные представления обеспечивают непрерывные сервисы поиска (без повторной обработки изображений галереи), одновременно повышая производительность при обновлениях и заменах модели, достигая передового уровня. Код доступен по адресу: https://github.com/miccunifi/iamcl2r.

English

Learning compatible representations aims to learn feature representations that can be used interchangeably over time whenever a model undergoes updates. In this paper, we demonstrate that stationary representations learned by d-Simplex fixed classifiers imply compatibility as in its formal definition. This result establishes a foundation for future works and can be directly exploited in practical learning scenarios. We address the challenge of learning compatibility using d-Simplex fixed classifiers when the model is sequentially fine-tuned. Learning according to a d-Simplex fixed classifier with the cross-entropy loss aligns feature distributions at the first-order statistics. Consequently, it may not fully capture higher-order dependencies in the representation between model updates. To address this issue, we demonstrate that training the model using a d-Simplex fixed classifier through a convex combination of the cross-entropy loss and a contrastive loss not only captures higher-order dependencies, but is also equivalent to learning with the cross-entropy under the compatibility constraints. We confirm our findings with extensive experiments also considering a new scenario where a pre-trained model is sequentially fine-tuned and occasionally replaced with an improved model. We show that stationary representations enable uninterrupted retrieval services (without reprocessing gallery images) while improving performance during model updates and replacements, achieving state-of-the-art. Code at https://github.com/miccunifi/iamcl2r.