직교 변환층을 통한 역호환 정렬 표현

Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer

August 16, 2024

저자: Simone Ricci, Niccolò Biondi, Federico Pernici, Alberto Del Bimbo

cs.AI

초록

시각 검색 시스템은 개선된 표현으로 모델을 업데이트할 때 이전과 새로운 표현 사이의 불일치로 인해 중요한 도전에 직면합니다. 비용이 많이 들고 자원이 많이 소모되는 백필링(backfilling) 프로세스는 새 모델이 도입될 때마다 갤러리 세트의 이미지에 대한 특징 벡터를 재계산하는 것을 포함합니다. 이를 해결하기 위해 이전 연구에서는 백워드 호환성 훈련 방법을 탐구하여 백필링 없이 새로운 표현과 이전 표현 간의 직접적인 비교를 가능케 했습니다. 이러한 발전에도 불구하고, 백워드 호환성과 독립적으로 훈련된 모델의 성능 사이의 균형을 달성하는 것은 여전히 열린 문제입니다. 본 논문에서는 표현 공간을 추가적인 차원으로 확장하고 이전 모델과 호환성을 달성하면서 동시에 새로운 정보를 통합하기 위해 직교 변환을 학습함으로써 이 문제에 대처합니다. 이 변환은 원래의 특징 공간의 기하학을 보존하여 이전 버전과 일치하면서도 새로운 데이터를 학습합니다. 우리의 직교 호환 정렬(OCA) 접근 방식은 모델 업데이트 중 재색인이 필요 없도록 하며, 특징을 추가 매핑 함수 없이 다른 모델 업데이트 간에 직접 비교할 수 있도록 보장합니다. CIFAR-100 및 ImageNet-1k에서의 실험 결과는 우리의 방법이 이전 모델과 호환성을 유지할 뿐만 아니라 최첨단 정확도를 달성하며 여러 기존 방법을 능가한다는 것을 보여줍니다.

English

Visual retrieval systems face significant challenges when updating models with improved representations due to misalignment between the old and new representations. The costly and resource-intensive backfilling process involves recalculating feature vectors for images in the gallery set whenever a new model is introduced. To address this, prior research has explored backward-compatible training methods that enable direct comparisons between new and old representations without backfilling. Despite these advancements, achieving a balance between backward compatibility and the performance of independently trained models remains an open problem. In this paper, we address it by expanding the representation space with additional dimensions and learning an orthogonal transformation to achieve compatibility with old models and, at the same time, integrate new information. This transformation preserves the original feature space's geometry, ensuring that our model aligns with previous versions while also learning new data. Our Orthogonal Compatible Aligned (OCA) approach eliminates the need for re-indexing during model updates and ensures that features can be compared directly across different model updates without additional mapping functions. Experimental results on CIFAR-100 and ImageNet-1k demonstrate that our method not only maintains compatibility with previous models but also achieves state-of-the-art accuracy, outperforming several existing methods.