Lokale schaalequivariantie met Latent Diep Evenwicht Canonicalizer

Local Scale Equivariance with Latent Deep Equilibrium Canonicalizer

August 19, 2025

Auteurs: Md Ashiqur Rahman, Chiao-An Yang, Michael N. Cheng, Lim Jun Hao, Jeremiah Jiang, Teck-Yian Lim, Raymond A. Yeh

cs.AI

Samenvatting

Schaalvariatie is een fundamentele uitdaging in computervisie. Objecten van dezelfde klasse kunnen verschillende afmetingen hebben, en hun waargenomen grootte wordt verder beïnvloed door de afstand tot de camera. Deze variaties zijn lokaal aan de objecten, wat betekent dat verschillende objectgroottes binnen dezelfde afbeelding op verschillende manieren kunnen veranderen. Om schaalvariaties effectief te hanteren, introduceren we een deep equilibrium canonicalizer (DEC) om de lokale schaalequivariantie van een model te verbeteren. DEC kan eenvoudig worden geïntegreerd in bestaande netwerkarchitecturen en kan worden aangepast aan een vooraf getraind model. Opmerkelijk is dat we aantonen dat DEC op de competitieve ImageNet-benchmark zowel de modelprestaties als de lokale schaalconsistentie verbetert bij vier populaire vooraf getrainde deep-nets, zoals ViT, DeiT, Swin en BEiT. Onze code is beschikbaar op https://github.com/ashiq24/local-scale-equivariance.

English

Scale variation is a fundamental challenge in computer vision. Objects of the same class can have different sizes, and their perceived size is further affected by the distance from the camera. These variations are local to the objects, i.e., different object sizes may change differently within the same image. To effectively handle scale variations, we present a deep equilibrium canonicalizer (DEC) to improve the local scale equivariance of a model. DEC can be easily incorporated into existing network architectures and can be adapted to a pre-trained model. Notably, we show that on the competitive ImageNet benchmark, DEC improves both model performance and local scale consistency across four popular pre-trained deep-nets, e.g., ViT, DeiT, Swin, and BEiT. Our code is available at https://github.com/ashiq24/local-scale-equivariance.