Representações Alinhadas Retrocompatíveis por meio de uma Camada de Transformação Ortogonal

Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer

August 16, 2024

Autores: Simone Ricci, Niccolò Biondi, Federico Pernici, Alberto Del Bimbo

cs.AI

Resumo

Os sistemas de recuperação visual enfrentam desafios significativos ao atualizar modelos com representações aprimoradas devido ao desalinhamento entre as representações antigas e novas. O processo dispendioso e intensivo em recursos de preenchimento envolve recalcular vetores de características para imagens no conjunto de galeria sempre que um novo modelo é introduzido. Para lidar com isso, pesquisas anteriores exploraram métodos de treinamento retrocompatíveis que permitem comparações diretas entre as novas e antigas representações sem preenchimento. Apesar desses avanços, alcançar um equilíbrio entre retrocompatibilidade e o desempenho de modelos treinados de forma independente continua sendo um problema em aberto. Neste artigo, abordamos isso expandindo o espaço de representação com dimensões adicionais e aprendendo uma transformação ortogonal para alcançar compatibilidade com os modelos antigos e, ao mesmo tempo, integrar novas informações. Essa transformação preserva a geometria do espaço de características original, garantindo que nosso modelo se alinhe com versões anteriores e aprenda novos dados. Nossa abordagem Ortogonalmente Compatível e Alinhada (OCA) elimina a necessidade de reindexação durante as atualizações do modelo e garante que as características possam ser comparadas diretamente em diferentes atualizações do modelo sem funções de mapeamento adicionais. Resultados experimentais no CIFAR-100 e ImageNet-1k demonstram que nosso método não apenas mantém a compatibilidade com modelos anteriores, mas também alcança precisão de ponta, superando vários métodos existentes.

English

Visual retrieval systems face significant challenges when updating models with improved representations due to misalignment between the old and new representations. The costly and resource-intensive backfilling process involves recalculating feature vectors for images in the gallery set whenever a new model is introduced. To address this, prior research has explored backward-compatible training methods that enable direct comparisons between new and old representations without backfilling. Despite these advancements, achieving a balance between backward compatibility and the performance of independently trained models remains an open problem. In this paper, we address it by expanding the representation space with additional dimensions and learning an orthogonal transformation to achieve compatibility with old models and, at the same time, integrate new information. This transformation preserves the original feature space's geometry, ensuring that our model aligns with previous versions while also learning new data. Our Orthogonal Compatible Aligned (OCA) approach eliminates the need for re-indexing during model updates and ensures that features can be compared directly across different model updates without additional mapping functions. Experimental results on CIFAR-100 and ImageNet-1k demonstrate that our method not only maintains compatibility with previous models but also achieves state-of-the-art accuracy, outperforming several existing methods.