ViTのパッチ選択性をCNNに組み込むためのパッチミキシング手法

要旨

ビジョントランスフォーマー（ViT）は、コンピュータビジョンの分野に大きな変革をもたらし、定期的に畳み込みニューラルネットワーク（CNN）と比較して視覚タスクにおいて優れた性能を示してきました。どちらのモデルタイプが優れているかはまだ結論が出ていませんが、それぞれが持つ独自の帰納的バイアスが、学習と汎化性能を形作っています。例えば、ViTは初期層における非局所的な特徴依存性や、学習の柔軟性を高めるセルフアテンションメカニズムといった興味深い特性を持ち、文脈外の画像情報をより効果的に無視することができます。我々は、この文脈外の情報を無視する力（我々はこれをパッチ選択性と呼びます）が、初期層で文脈内の情報を非局所的に統合する能力と相まって、ViTがオクルージョンをより容易に処理できるのではないかと仮説を立てました。本研究では、パッチミキシングというデータ拡張手法を用いて、この帰納的バイアスを効果的に組み込むことで、CNNがこのパッチ選択性の能力をシミュレートできるかどうかを検証することを目的としています。パッチミキシングは、別の画像からパッチをトレーニング画像に挿入し、2つの画像クラス間でラベルを補間する手法です。具体的には、最先端のViTとCNNをパッチミキシングでトレーニングし、文脈外のパッチを無視し、自然なオクルージョンを処理する能力への影響を評価します。その結果、ViTはパッチミキシングでトレーニングしても性能が向上も低下もしないのに対し、CNNは文脈外の情報を無視する新たな能力を獲得し、オクルージョンベンチマークで改善が見られることがわかりました。これにより、このトレーニング方法は、ViTが既に持つ能力をCNNでシミュレートする方法であると結論づけました。我々は、パッチミキシングの実装と提案されたデータセットを公開し、一般利用に供する予定です。プロジェクトページ: https://arielnlee.github.io/PatchMixing/

English

Vision transformers (ViTs) have significantly changed the computer vision landscape and have periodically exhibited superior performance in vision tasks compared to convolutional neural networks (CNNs). Although the jury is still out on which model type is superior, each has unique inductive biases that shape their learning and generalization performance. For example, ViTs have interesting properties with respect to early layer non-local feature dependence, as well as self-attention mechanisms which enhance learning flexibility, enabling them to ignore out-of-context image information more effectively. We hypothesize that this power to ignore out-of-context information (which we name patch selectivity), while integrating in-context information in a non-local manner in early layers, allows ViTs to more easily handle occlusion. In this study, our aim is to see whether we can have CNNs simulate this ability of patch selectivity by effectively hardwiring this inductive bias using Patch Mixing data augmentation, which consists of inserting patches from another image onto a training image and interpolating labels between the two image classes. Specifically, we use Patch Mixing to train state-of-the-art ViTs and CNNs, assessing its impact on their ability to ignore out-of-context patches and handle natural occlusions. We find that ViTs do not improve nor degrade when trained using Patch Mixing, but CNNs acquire new capabilities to ignore out-of-context information and improve on occlusion benchmarks, leaving us to conclude that this training method is a way of simulating in CNNs the abilities that ViTs already possess. We will release our Patch Mixing implementation and proposed datasets for public use. Project page: https://arielnlee.github.io/PatchMixing/

ViTのパッチ選択性をCNNに組み込むためのパッチミキシング手法

Hardwiring ViT Patch Selectivity into CNNs using Patch Mixing

要旨

Support