Representaciones alineadas compatibles hacia atrás a través de una capa de transformación ortogonal

Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer

August 16, 2024

Autores: Simone Ricci, Niccolò Biondi, Federico Pernici, Alberto Del Bimbo

cs.AI

Resumen

Los sistemas de recuperación visual enfrentan desafíos significativos al actualizar modelos con representaciones mejoradas debido a desalineaciones entre las representaciones antiguas y nuevas. El costoso y intensivo proceso de rellenado implica recalcular vectores de características para imágenes en el conjunto de galería cada vez que se introduce un nuevo modelo. Para abordar esto, investigaciones previas han explorado métodos de entrenamiento retrocompatibles que permiten comparaciones directas entre las nuevas y antiguas representaciones sin rellenado. A pesar de estos avances, lograr un equilibrio entre la retrocompatibilidad y el rendimiento de modelos entrenados de forma independiente sigue siendo un problema abierto. En este documento, lo abordamos expandiendo el espacio de representación con dimensiones adicionales y aprendiendo una transformación ortogonal para lograr compatibilidad con los modelos antiguos y, al mismo tiempo, integrar nueva información. Esta transformación preserva la geometría del espacio de características original, asegurando que nuestro modelo se alinee con las versiones anteriores y al mismo tiempo aprenda nuevos datos. Nuestro enfoque Alinado Compatible Ortogonal (OCA) elimina la necesidad de reindexar durante las actualizaciones del modelo y garantiza que las características puedan compararse directamente a través de diferentes actualizaciones del modelo sin funciones de mapeo adicionales. Los resultados experimentales en CIFAR-100 e ImageNet-1k demuestran que nuestro método no solo mantiene la compatibilidad con modelos anteriores, sino que también logra una precisión de vanguardia, superando a varios métodos existentes.

English

Visual retrieval systems face significant challenges when updating models with improved representations due to misalignment between the old and new representations. The costly and resource-intensive backfilling process involves recalculating feature vectors for images in the gallery set whenever a new model is introduced. To address this, prior research has explored backward-compatible training methods that enable direct comparisons between new and old representations without backfilling. Despite these advancements, achieving a balance between backward compatibility and the performance of independently trained models remains an open problem. In this paper, we address it by expanding the representation space with additional dimensions and learning an orthogonal transformation to achieve compatibility with old models and, at the same time, integrate new information. This transformation preserves the original feature space's geometry, ensuring that our model aligns with previous versions while also learning new data. Our Orthogonal Compatible Aligned (OCA) approach eliminates the need for re-indexing during model updates and ensures that features can be compared directly across different model updates without additional mapping functions. Experimental results on CIFAR-100 and ImageNet-1k demonstrate that our method not only maintains compatibility with previous models but also achieves state-of-the-art accuracy, outperforming several existing methods.