局所スケール等価性を備えた潜在深層平衡正規化器

要旨

スケール変動はコンピュータビジョンにおける基本的な課題である。同じクラスのオブジェクトでもサイズが異なる場合があり、さらにカメラからの距離によって知覚されるサイズも変化する。これらの変動はオブジェクトごとに局所的であり、つまり同じ画像内でも異なるオブジェクトのサイズが異なる変化を示す可能性がある。スケール変動を効果的に扱うために、本論文ではモデルの局所的スケール等価性を向上させる深層平衡正規化器（DEC）を提案する。DECは既存のネットワークアーキテクチャに容易に組み込むことができ、事前学習済みモデルにも適用可能である。特に、競争力のあるImageNetベンチマークにおいて、DECがViT、DeiT、Swin、BEiTといった4つの人気のある事前学習済み深層ネットワークのモデル性能と局所的スケール一貫性の両方を向上させることを示す。私たちのコードはhttps://github.com/ashiq24/local-scale-equivarianceで公開されている。

English

Scale variation is a fundamental challenge in computer vision. Objects of the same class can have different sizes, and their perceived size is further affected by the distance from the camera. These variations are local to the objects, i.e., different object sizes may change differently within the same image. To effectively handle scale variations, we present a deep equilibrium canonicalizer (DEC) to improve the local scale equivariance of a model. DEC can be easily incorporated into existing network architectures and can be adapted to a pre-trained model. Notably, we show that on the competitive ImageNet benchmark, DEC improves both model performance and local scale consistency across four popular pre-trained deep-nets, e.g., ViT, DeiT, Swin, and BEiT. Our code is available at https://github.com/ashiq24/local-scale-equivariance.

局所スケール等価性を備えた潜在深層平衡正規化器

Local Scale Equivariance with Latent Deep Equilibrium Canonicalizer

要旨

Support