Una representación estacionaria (y por lo tanto compatible) es todo lo que necesitas

Resumen

El aprendizaje de representaciones compatibles tiene como objetivo aprender representaciones de características que puedan usarse indistintamente a lo largo del tiempo cada vez que un modelo sufre actualizaciones. En este artículo, demostramos que las representaciones estacionarias aprendidas mediante clasificadores fijos en d-simplex implican compatibilidad según su definición formal. Este resultado establece una base para trabajos futuros y puede explotarse directamente en escenarios prácticos de aprendizaje. Abordamos el desafío de aprender compatibilidad utilizando clasificadores fijos en d-simplex cuando el modelo se ajusta finamente de forma secuencial. El aprendizaje según un clasificador fijo en d-simplex con la pérdida de entropía cruzada alinea las distribuciones de características en las estadísticas de primer orden. En consecuencia, puede no capturar completamente las dependencias de orden superior en la representación entre las actualizaciones del modelo. Para abordar este problema, demostramos que entrenar el modelo utilizando un clasificador fijo en d-simplex mediante una combinación convexa de la pérdida de entropía cruzada y una pérdida contrastiva no solo captura dependencias de orden superior, sino que también equivale a aprender con la entropía cruzada bajo las restricciones de compatibilidad. Confirmamos nuestros hallazgos con experimentos exhaustivos que también consideran un nuevo escenario donde un modelo preentrenado se ajusta finamente de forma secuencial y ocasionalmente se reemplaza con un modelo mejorado. Mostramos que las representaciones estacionarias permiten servicios de recuperación ininterrumpidos (sin reprocesar imágenes de la galería) mientras mejoran el rendimiento durante las actualizaciones y reemplazos del modelo, alcanzando el estado del arte. Código en https://github.com/miccunifi/iamcl2r.

English

Learning compatible representations aims to learn feature representations that can be used interchangeably over time whenever a model undergoes updates. In this paper, we demonstrate that stationary representations learned by d-Simplex fixed classifiers imply compatibility as in its formal definition. This result establishes a foundation for future works and can be directly exploited in practical learning scenarios. We address the challenge of learning compatibility using d-Simplex fixed classifiers when the model is sequentially fine-tuned. Learning according to a d-Simplex fixed classifier with the cross-entropy loss aligns feature distributions at the first-order statistics. Consequently, it may not fully capture higher-order dependencies in the representation between model updates. To address this issue, we demonstrate that training the model using a d-Simplex fixed classifier through a convex combination of the cross-entropy loss and a contrastive loss not only captures higher-order dependencies, but is also equivalent to learning with the cross-entropy under the compatibility constraints. We confirm our findings with extensive experiments also considering a new scenario where a pre-trained model is sequentially fine-tuned and occasionally replaced with an improved model. We show that stationary representations enable uninterrupted retrieval services (without reprocessing gallery images) while improving performance during model updates and replacements, achieving state-of-the-art. Code at https://github.com/miccunifi/iamcl2r.