Обратно-совместимые выровненные представления с помощью слоя ортогонального преобразования

Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer

August 16, 2024

Авторы: Simone Ricci, Niccolò Biondi, Federico Pernici, Alberto Del Bimbo

cs.AI

Аннотация

Системы визуального поиска сталкиваются с значительными проблемами при обновлении моделей с улучшенными представлениями из-за несоответствия между старыми и новыми представлениями. Затратный и ресурсоемкий процесс обновления включает пересчет векторов признаков для изображений в наборе галереи при введении новой модели. Для решения этой проблемы предыдущие исследования исследовали методы обратной совместимости обучения, которые позволяют прямые сравнения между новыми и старыми представлениями без обновления. Несмотря на эти достижения, достижение баланса между обратной совместимостью и производительностью независимо обученных моделей остается открытой проблемой. В данной статье мы решаем эту проблему путем расширения пространства представлений с дополнительными измерениями и обучения ортогонального преобразования для достижения совместимости со старыми моделями и одновременного интегрирования новой информации. Это преобразование сохраняет геометрию исходного пространства признаков, обеспечивая соответствие нашей модели предыдущим версиям, а также обучение новым данным. Наш подход Ортогонально Совместимое Выравнивание (OCA) устраняет необходимость повторного индексирования во время обновления модели и гарантирует, что признаки могут быть сравниваемы напрямую между различными обновлениями модели без дополнительных функций отображения. Экспериментальные результаты на CIFAR-100 и ImageNet-1k показывают, что наш метод не только сохраняет совместимость с предыдущими моделями, но и достигает точности на уровне передовых достижений, превосходя несколько существующих методов.

English

Visual retrieval systems face significant challenges when updating models with improved representations due to misalignment between the old and new representations. The costly and resource-intensive backfilling process involves recalculating feature vectors for images in the gallery set whenever a new model is introduced. To address this, prior research has explored backward-compatible training methods that enable direct comparisons between new and old representations without backfilling. Despite these advancements, achieving a balance between backward compatibility and the performance of independently trained models remains an open problem. In this paper, we address it by expanding the representation space with additional dimensions and learning an orthogonal transformation to achieve compatibility with old models and, at the same time, integrate new information. This transformation preserves the original feature space's geometry, ensuring that our model aligns with previous versions while also learning new data. Our Orthogonal Compatible Aligned (OCA) approach eliminates the need for re-indexing during model updates and ensures that features can be compared directly across different model updates without additional mapping functions. Experimental results on CIFAR-100 and ImageNet-1k demonstrate that our method not only maintains compatibility with previous models but also achieves state-of-the-art accuracy, outperforming several existing methods.