Incorporate la selettività dei patch di ViT nelle CNN mediante il mixing di patch

Hardwiring ViT Patch Selectivity into CNNs using Patch Mixing

June 30, 2023

Autori: Ariel N. Lee, Sarah Adel Bargal, Janavi Kasera, Stan Sclaroff, Kate Saenko, Nataniel Ruiz

cs.AI

Abstract

I transformer per la visione (ViT) hanno radicalmente trasformato il panorama della computer vision e hanno periodicamente dimostrato prestazioni superiori nelle attività visive rispetto alle reti neurali convoluzionali (CNN). Sebbene non ci sia ancora un verdetto definitivo su quale tipo di modello sia superiore, ciascuno presenta pregiudizi induttivi unici che influenzano il loro apprendimento e le prestazioni di generalizzazione. Ad esempio, i ViT possiedono proprietà interessanti riguardo alla dipendenza non locale delle feature negli strati iniziali, nonché meccanismi di self-attention che migliorano la flessibilità di apprendimento, consentendo loro di ignorare in modo più efficace le informazioni fuori contesto presenti nelle immagini. Ipotesizziamo che questa capacità di ignorare le informazioni fuori contesto (che chiamiamo selettività delle patch), integrando al contempo le informazioni nel contesto in modo non locale negli strati iniziali, permetta ai ViT di gestire più facilmente l'occlusione. In questo studio, il nostro obiettivo è verificare se possiamo far simulare alle CNN questa capacità di selettività delle patch, incorporando efficacemente questo pregiudizio induttivo attraverso l'augmentazione dei dati con Patch Mixing, che consiste nell'inserire patch provenienti da un'altra immagine in un'immagine di addestramento e nell'interpolare le etichette tra le due classi di immagini. Nello specifico, utilizziamo Patch Mixing per addestrare ViT e CNN all'avanguardia, valutandone l'impatto sulla loro capacità di ignorare le patch fuori contesto e gestire le occlusioni naturali. Scopriamo che i ViT non migliorano né peggiorano quando addestrati con Patch Mixing, mentre le CNN acquisiscono nuove capacità di ignorare le informazioni fuori contesto e migliorano nei benchmark di occlusione, portandoci a concludere che questo metodo di addestramento è un modo per simulare nelle CNN le abilità che i ViT possiedono già. Rilasceremo la nostra implementazione di Patch Mixing e i dataset proposti per l'uso pubblico. Pagina del progetto: https://arielnlee.github.io/PatchMixing/

English

Vision transformers (ViTs) have significantly changed the computer vision landscape and have periodically exhibited superior performance in vision tasks compared to convolutional neural networks (CNNs). Although the jury is still out on which model type is superior, each has unique inductive biases that shape their learning and generalization performance. For example, ViTs have interesting properties with respect to early layer non-local feature dependence, as well as self-attention mechanisms which enhance learning flexibility, enabling them to ignore out-of-context image information more effectively. We hypothesize that this power to ignore out-of-context information (which we name patch selectivity), while integrating in-context information in a non-local manner in early layers, allows ViTs to more easily handle occlusion. In this study, our aim is to see whether we can have CNNs simulate this ability of patch selectivity by effectively hardwiring this inductive bias using Patch Mixing data augmentation, which consists of inserting patches from another image onto a training image and interpolating labels between the two image classes. Specifically, we use Patch Mixing to train state-of-the-art ViTs and CNNs, assessing its impact on their ability to ignore out-of-context patches and handle natural occlusions. We find that ViTs do not improve nor degrade when trained using Patch Mixing, but CNNs acquire new capabilities to ignore out-of-context information and improve on occlusion benchmarks, leaving us to conclude that this training method is a way of simulating in CNNs the abilities that ViTs already possess. We will release our Patch Mixing implementation and proposed datasets for public use. Project page: https://arielnlee.github.io/PatchMixing/