Hartverdrahtung der Patch-Selektivität von ViT in CNNs durch Patch-Mixing

Hardwiring ViT Patch Selectivity into CNNs using Patch Mixing

June 30, 2023

Autoren: Ariel N. Lee, Sarah Adel Bargal, Janavi Kasera, Stan Sclaroff, Kate Saenko, Nataniel Ruiz

cs.AI

Zusammenfassung

Vision Transformer (ViTs) haben die Landschaft der Computer Vision erheblich verändert und regelmäßig eine überlegene Leistung bei visuellen Aufgaben im Vergleich zu Convolutional Neural Networks (CNNs) gezeigt. Obwohl die Frage, welcher Modelltyp überlegen ist, noch nicht abschließend geklärt ist, besitzt jeder einzigartige induktive Verzerrungen, die ihr Lern- und Generalisierungsverhalten prägen. Beispielsweise weisen ViTs interessante Eigenschaften in Bezug auf die nicht-lokale Merkmalsabhängigkeit in frühen Schichten sowie Selbstaufmerksamkeitsmechanismen auf, die die Lernflexibilität erhöhen und es ihnen ermöglichen, kontextfremde Bildinformationen effektiver zu ignorieren. Wir stellen die Hypothese auf, dass diese Fähigkeit, kontextfremde Informationen zu ignorieren (die wir als Patch-Selektivität bezeichnen), während gleichzeitig kontextbezogene Informationen in frühen Schichten auf nicht-lokale Weise integriert werden, es ViTs erleichtert, mit Okklusionen umzugehen. In dieser Studie zielen wir darauf ab, zu untersuchen, ob wir CNNs diese Fähigkeit der Patch-Selektivität simulieren können, indem wir diese induktive Verzerrung effektiv durch die Datenaugmentationsmethode Patch Mixing implementieren. Diese Methode besteht darin, Patches aus einem anderen Bild in ein Trainingsbild einzufügen und die Labels zwischen den beiden Bildklassen zu interpolieren. Konkret verwenden wir Patch Mixing, um state-of-the-art ViTs und CNNs zu trainieren und bewerten deren Auswirkung auf die Fähigkeit, kontextfremde Patches zu ignorieren und natürliche Okklusionen zu bewältigen. Wir stellen fest, dass ViTs bei der Verwendung von Patch Mixing weder verbessert noch verschlechtert werden, CNNs jedoch neue Fähigkeiten erwerben, um kontextfremde Informationen zu ignorieren und bei Okklusions-Benchmarks besser abzuschneiden. Daraus schließen wir, dass diese Trainingsmethode eine Möglichkeit darstellt, in CNNs die Fähigkeiten zu simulieren, die ViTs bereits besitzen. Wir werden unsere Patch-Mixing-Implementierung und die vorgeschlagenen Datensätze für die öffentliche Nutzung freigeben. Projektseite: https://arielnlee.github.io/PatchMixing/

English

Vision transformers (ViTs) have significantly changed the computer vision landscape and have periodically exhibited superior performance in vision tasks compared to convolutional neural networks (CNNs). Although the jury is still out on which model type is superior, each has unique inductive biases that shape their learning and generalization performance. For example, ViTs have interesting properties with respect to early layer non-local feature dependence, as well as self-attention mechanisms which enhance learning flexibility, enabling them to ignore out-of-context image information more effectively. We hypothesize that this power to ignore out-of-context information (which we name patch selectivity), while integrating in-context information in a non-local manner in early layers, allows ViTs to more easily handle occlusion. In this study, our aim is to see whether we can have CNNs simulate this ability of patch selectivity by effectively hardwiring this inductive bias using Patch Mixing data augmentation, which consists of inserting patches from another image onto a training image and interpolating labels between the two image classes. Specifically, we use Patch Mixing to train state-of-the-art ViTs and CNNs, assessing its impact on their ability to ignore out-of-context patches and handle natural occlusions. We find that ViTs do not improve nor degrade when trained using Patch Mixing, but CNNs acquire new capabilities to ignore out-of-context information and improve on occlusion benchmarks, leaving us to conclude that this training method is a way of simulating in CNNs the abilities that ViTs already possess. We will release our Patch Mixing implementation and proposed datasets for public use. Project page: https://arielnlee.github.io/PatchMixing/