Représentations alignées rétrocompatibles via une couche de transformation orthogonale

Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer

August 16, 2024

Auteurs: Simone Ricci, Niccolò Biondi, Federico Pernici, Alberto Del Bimbo

cs.AI

Résumé

Les systèmes de recherche visuelle rencontrent des défis importants lors de la mise à jour des modèles avec des représentations améliorées en raison du désalignement entre les anciennes et nouvelles représentations. Le processus de rétro-remplissage coûteux et intensif en ressources implique le recalcul des vecteurs de caractéristiques pour les images de l'ensemble de la galerie à chaque introduction d'un nouveau modèle. Pour remédier à cela, des recherches antérieures ont exploré des méthodes d'entraînement rétrocompatibles qui permettent des comparaisons directes entre les anciennes et nouvelles représentations sans rétro-remplissage. Malgré ces avancées, trouver un équilibre entre la compatibilité rétrocompatible et les performances des modèles entraînés de manière indépendante reste un problème ouvert. Dans cet article, nous y répondons en élargissant l'espace de représentation avec des dimensions supplémentaires et en apprenant une transformation orthogonale pour atteindre la compatibilité avec les anciens modèles tout en intégrant de nouvelles informations. Cette transformation préserve la géométrie de l'espace de caractéristiques d'origine, garantissant que notre modèle s'aligne sur les versions précédentes tout en apprenant de nouvelles données. Notre approche Orthogonale Compatible Alignée (OCA) élimine le besoin de réindexation lors des mises à jour des modèles et garantit que les caractéristiques peuvent être comparées directement entre différentes mises à jour de modèles sans fonctions de mappage supplémentaires. Les résultats expérimentaux sur CIFAR-100 et ImageNet-1k démontrent que notre méthode maintient non seulement la compatibilité avec les modèles précédents, mais atteint également une précision de pointe, surpassant plusieurs méthodes existantes.

English

Visual retrieval systems face significant challenges when updating models with improved representations due to misalignment between the old and new representations. The costly and resource-intensive backfilling process involves recalculating feature vectors for images in the gallery set whenever a new model is introduced. To address this, prior research has explored backward-compatible training methods that enable direct comparisons between new and old representations without backfilling. Despite these advancements, achieving a balance between backward compatibility and the performance of independently trained models remains an open problem. In this paper, we address it by expanding the representation space with additional dimensions and learning an orthogonal transformation to achieve compatibility with old models and, at the same time, integrate new information. This transformation preserves the original feature space's geometry, ensuring that our model aligns with previous versions while also learning new data. Our Orthogonal Compatible Aligned (OCA) approach eliminates the need for re-indexing during model updates and ensures that features can be compared directly across different model updates without additional mapping functions. Experimental results on CIFAR-100 and ImageNet-1k demonstrate that our method not only maintains compatibility with previous models but also achieves state-of-the-art accuracy, outperforming several existing methods.