Achterwaarts Compatibele Uitgelijnde Representaties via een Orthogonale Transformatie Laag

Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer

August 16, 2024

Auteurs: Simone Ricci, Niccolò Biondi, Federico Pernici, Alberto Del Bimbo

cs.AI

Samenvatting

Visuele retrievalsystemen worden geconfronteerd met aanzienlijke uitdagingen bij het updaten van modellen met verbeterde representaties vanwege een gebrek aan uitlijning tussen de oude en nieuwe representaties. Het kostbare en resource-intensieve backfilling-proces omvat het opnieuw berekenen van featurevectoren voor afbeeldingen in de galleryset wanneer een nieuw model wordt geïntroduceerd. Om dit aan te pakken, heeft eerder onderzoek zich gericht op backward-compatibele trainingsmethoden die directe vergelijkingen tussen nieuwe en oude representaties mogelijk maken zonder backfilling. Ondanks deze vooruitgang blijft het bereiken van een balans tussen backward-compatibiliteit en de prestaties van onafhankelijk getrainde modellen een open probleem. In dit artikel pakken we dit aan door de representatieruimte uit te breiden met extra dimensies en een orthogonale transformatie te leren om compatibiliteit met oude modellen te bereiken en tegelijkertijd nieuwe informatie te integreren. Deze transformatie behoudt de geometrie van de oorspronkelijke feature-ruimte, waardoor ons model aansluit bij eerdere versies terwijl het ook nieuwe data leert. Onze Orthogonal Compatible Aligned (OCA)-aanpak elimineert de noodzaak van herindexering tijdens modelupdates en zorgt ervoor dat features direct kunnen worden vergeleken tussen verschillende modelupdates zonder aanvullende mappingfuncties. Experimentele resultaten op CIFAR-100 en ImageNet-1k tonen aan dat onze methode niet alleen compatibiliteit met eerdere modellen behoudt, maar ook state-of-the-art nauwkeurigheid bereikt, waarbij verschillende bestaande methoden worden overtroffen.

English

Visual retrieval systems face significant challenges when updating models with improved representations due to misalignment between the old and new representations. The costly and resource-intensive backfilling process involves recalculating feature vectors for images in the gallery set whenever a new model is introduced. To address this, prior research has explored backward-compatible training methods that enable direct comparisons between new and old representations without backfilling. Despite these advancements, achieving a balance between backward compatibility and the performance of independently trained models remains an open problem. In this paper, we address it by expanding the representation space with additional dimensions and learning an orthogonal transformation to achieve compatibility with old models and, at the same time, integrate new information. This transformation preserves the original feature space's geometry, ensuring that our model aligns with previous versions while also learning new data. Our Orthogonal Compatible Aligned (OCA) approach eliminates the need for re-indexing during model updates and ensures that features can be compared directly across different model updates without additional mapping functions. Experimental results on CIFAR-100 and ImageNet-1k demonstrate that our method not only maintains compatibility with previous models but also achieves state-of-the-art accuracy, outperforming several existing methods.