直列に整列された表現を直列にするための後方互換性を持つ直交変換層

Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer

August 16, 2024

著者: Simone Ricci, Niccolò Biondi, Federico Pernici, Alberto Del Bimbo

cs.AI

要旨

ビジュアル検索システムは、古い表現と新しい表現の不一致により、モデルを改善する際に重要な課題に直面しています。コストとリソースを消費するバックフィリングプロセスには、新しいモデルが導入されるたびにギャラリーセット内の画像の特徴ベクトルを再計算する必要があります。この課題に対処するため、これまでの研究では、バックワード互換性のあるトレーニング手法が探求されてきました。これにより、バックフィリングなしで新しい表現と古い表現を直接比較できるようになりました。これらの進歩にもかかわらず、バックワード互換性と独立してトレーニングされたモデルのパフォーマンスのバランスを実現することは未解決の課題です。本論文では、追加の次元で表現空間を拡張し、古いモデルとの互換性を実現し、同時に新しい情報を統合するための直交変換を学習することで、この課題に取り組みます。この変換により、元の特徴空間の幾何学が保持され、モデルが以前のバージョンと整合し、同時に新しいデータを学習します。当社のOrthogonal Compatible Aligned（OCA）アプローチは、モデルの更新時に再インデックス化する必要をなくし、追加のマッピング関数なしで異なるモデルの更新間で特徴を直接比較できることを保証します。CIFAR-100およびImageNet-1kでの実験結果は、当社の手法が以前のモデルとの互換性を維持するだけでなく、最先端の精度を達成し、いくつかの既存手法を凌駕していることを示しています。

English

Visual retrieval systems face significant challenges when updating models with improved representations due to misalignment between the old and new representations. The costly and resource-intensive backfilling process involves recalculating feature vectors for images in the gallery set whenever a new model is introduced. To address this, prior research has explored backward-compatible training methods that enable direct comparisons between new and old representations without backfilling. Despite these advancements, achieving a balance between backward compatibility and the performance of independently trained models remains an open problem. In this paper, we address it by expanding the representation space with additional dimensions and learning an orthogonal transformation to achieve compatibility with old models and, at the same time, integrate new information. This transformation preserves the original feature space's geometry, ensuring that our model aligns with previous versions while also learning new data. Our Orthogonal Compatible Aligned (OCA) approach eliminates the need for re-indexing during model updates and ensures that features can be compared directly across different model updates without additional mapping functions. Experimental results on CIFAR-100 and ImageNet-1k demonstrate that our method not only maintains compatibility with previous models but also achieves state-of-the-art accuracy, outperforming several existing methods.