Rückwärtskompatible Ausgerichtete Darstellungen über eine Orthogonale Transformationschicht

Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer

August 16, 2024

Autoren: Simone Ricci, Niccolò Biondi, Federico Pernici, Alberto Del Bimbo

cs.AI

Zusammenfassung

Visuelle Abrufsysteme stehen vor erheblichen Herausforderungen beim Aktualisieren von Modellen mit verbesserten Repräsentationen aufgrund von Missabstimmungen zwischen den alten und neuen Repräsentationen. Der kostspielige und ressourcenintensive Backfilling-Prozess beinhaltet das Neuberechnen von Merkmalsvektoren für Bilder im Galerieset, wann immer ein neues Modell eingeführt wird. Um dies zu bewältigen, haben frühere Forschungsarbeiten rückwärtskompatible Trainingsmethoden erforscht, die direkte Vergleiche zwischen neuen und alten Repräsentationen ohne Backfilling ermöglichen. Trotz dieser Fortschritte bleibt die Erreichung eines Gleichgewichts zwischen Rückwärtskompatibilität und der Leistung von unabhängig trainierten Modellen ein offenes Problem. In diesem Artikel gehen wir darauf ein, indem wir den Repräsentationsraum mit zusätzlichen Dimensionen erweitern und eine orthogonale Transformation erlernen, um Kompatibilität mit alten Modellen zu erreichen und gleichzeitig neue Informationen zu integrieren. Diese Transformation erhält die Geometrie des ursprünglichen Merkmalsraums, wodurch sichergestellt wird, dass unser Modell mit früheren Versionen übereinstimmt und gleichzeitig neue Daten lernt. Unser Orthogonal Compatible Aligned (OCA) Ansatz beseitigt die Notwendigkeit für eine erneute Indizierung während der Modellaktualisierungen und stellt sicher, dass Merkmale direkt über verschiedene Modellaktualisierungen hinweg verglichen werden können, ohne zusätzliche Zuordnungsfunktionen. Experimentelle Ergebnisse zu CIFAR-100 und ImageNet-1k zeigen, dass unsere Methode nicht nur die Kompatibilität mit früheren Modellen aufrechterhält, sondern auch eine Spitzenpräzision erreicht, wobei sie mehrere bestehende Methoden übertrifft.

English

Visual retrieval systems face significant challenges when updating models with improved representations due to misalignment between the old and new representations. The costly and resource-intensive backfilling process involves recalculating feature vectors for images in the gallery set whenever a new model is introduced. To address this, prior research has explored backward-compatible training methods that enable direct comparisons between new and old representations without backfilling. Despite these advancements, achieving a balance between backward compatibility and the performance of independently trained models remains an open problem. In this paper, we address it by expanding the representation space with additional dimensions and learning an orthogonal transformation to achieve compatibility with old models and, at the same time, integrate new information. This transformation preserves the original feature space's geometry, ensuring that our model aligns with previous versions while also learning new data. Our Orthogonal Compatible Aligned (OCA) approach eliminates the need for re-indexing during model updates and ensures that features can be compared directly across different model updates without additional mapping functions. Experimental results on CIFAR-100 and ImageNet-1k demonstrate that our method not only maintains compatibility with previous models but also achieves state-of-the-art accuracy, outperforming several existing methods.