Локальная эквивариантность масштаба с использованием латентного канонизатора глубокого равновесия

Local Scale Equivariance with Latent Deep Equilibrium Canonicalizer

August 19, 2025

Авторы: Md Ashiqur Rahman, Chiao-An Yang, Michael N. Cheng, Lim Jun Hao, Jeremiah Jiang, Teck-Yian Lim, Raymond A. Yeh

cs.AI

Аннотация

Вариация масштаба представляет собой фундаментальную проблему в компьютерном зрении. Объекты одного класса могут иметь разные размеры, а их воспринимаемый размер дополнительно зависит от расстояния до камеры. Эти вариации локальны для объектов, то есть размеры разных объектов могут изменяться по-разному в пределах одного изображения. Для эффективного управления вариациями масштаба мы представляем глубокий равновесный канонизатор (DEC), который улучшает локальную эквивариантность масштаба модели. DEC может быть легко интегрирован в существующие архитектуры сетей и адаптирован для предварительно обученной модели. Примечательно, что на конкурентном бенчмарке ImageNet DEC улучшает как производительность модели, так и локальную согласованность масштаба для четырех популярных предварительно обученных глубоких сетей, таких как ViT, DeiT, Swin и BEiT. Наш код доступен по адресу https://github.com/ashiq24/local-scale-equivariance.

English

Scale variation is a fundamental challenge in computer vision. Objects of the same class can have different sizes, and their perceived size is further affected by the distance from the camera. These variations are local to the objects, i.e., different object sizes may change differently within the same image. To effectively handle scale variations, we present a deep equilibrium canonicalizer (DEC) to improve the local scale equivariance of a model. DEC can be easily incorporated into existing network architectures and can be adapted to a pre-trained model. Notably, we show that on the competitive ImageNet benchmark, DEC improves both model performance and local scale consistency across four popular pre-trained deep-nets, e.g., ViT, DeiT, Swin, and BEiT. Our code is available at https://github.com/ashiq24/local-scale-equivariance.