Rappresentazioni Allineate Retrocompatibili tramite un Livello di Trasformazione Ortogonale

Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer

August 16, 2024

Autori: Simone Ricci, Niccolò Biondi, Federico Pernici, Alberto Del Bimbo

cs.AI

Abstract

I sistemi di recupero visivo affrontano sfide significative quando aggiornano i modelli con rappresentazioni migliorate, a causa del disallineamento tra le vecchie e le nuove rappresentazioni. Il processo di backfilling, costoso e ad alto consumo di risorse, comporta il ricalcolo dei vettori di feature per le immagini nel set di galleria ogni volta che viene introdotto un nuovo modello. Per affrontare questo problema, ricerche precedenti hanno esplorato metodi di addestramento retrocompatibili che consentono confronti diretti tra nuove e vecchie rappresentazioni senza necessità di backfilling. Nonostante questi progressi, raggiungere un equilibrio tra retrocompatibilità e le prestazioni di modelli addestrati in modo indipendente rimane un problema aperto. In questo articolo, affrontiamo la questione espandendo lo spazio di rappresentazione con dimensioni aggiuntive e apprendendo una trasformazione ortogonale per ottenere compatibilità con i vecchi modelli e, allo stesso tempo, integrare nuove informazioni. Questa trasformazione preserva la geometria dello spazio delle feature originale, garantendo che il nostro modello si allinei con le versioni precedenti mentre apprende nuovi dati. Il nostro approccio Orthogonal Compatible Aligned (OCA) elimina la necessità di reindicizzazione durante gli aggiornamenti del modello e assicura che le feature possano essere confrontate direttamente tra diversi aggiornamenti del modello senza funzioni di mappatura aggiuntive. I risultati sperimentali su CIFAR-100 e ImageNet-1k dimostrano che il nostro metodo non solo mantiene la compatibilità con i modelli precedenti, ma raggiunge anche un'accuratezza all'avanguardia, superando diversi metodi esistenti.

English

Visual retrieval systems face significant challenges when updating models with improved representations due to misalignment between the old and new representations. The costly and resource-intensive backfilling process involves recalculating feature vectors for images in the gallery set whenever a new model is introduced. To address this, prior research has explored backward-compatible training methods that enable direct comparisons between new and old representations without backfilling. Despite these advancements, achieving a balance between backward compatibility and the performance of independently trained models remains an open problem. In this paper, we address it by expanding the representation space with additional dimensions and learning an orthogonal transformation to achieve compatibility with old models and, at the same time, integrate new information. This transformation preserves the original feature space's geometry, ensuring that our model aligns with previous versions while also learning new data. Our Orthogonal Compatible Aligned (OCA) approach eliminates the need for re-indexing during model updates and ensures that features can be compared directly across different model updates without additional mapping functions. Experimental results on CIFAR-100 and ImageNet-1k demonstrate that our method not only maintains compatibility with previous models but also achieves state-of-the-art accuracy, outperforming several existing methods.