Incorporando a Seletividade de Patches do ViT em CNNs através de Mistura de Patches

Resumo

Os transformadores de visão (ViTs) mudaram significativamente o cenário da visão computacional e periodicamente têm demonstrado desempenho superior em tarefas de visão em comparação com redes neurais convolucionais (CNNs). Embora ainda não haja consenso sobre qual tipo de modelo é superior, cada um possui vieses indutivos únicos que moldam seu aprendizado e desempenho de generalização. Por exemplo, os ViTs possuem propriedades interessantes em relação à dependência de características não locais nas camadas iniciais, bem como mecanismos de auto-atenção que aumentam a flexibilidade de aprendizado, permitindo que ignorem informações fora do contexto da imagem de forma mais eficaz. Nossa hipótese é que essa capacidade de ignorar informações fora do contexto (que chamamos de seletividade de patches), enquanto integram informações dentro do contexto de maneira não local nas camadas iniciais, permite que os ViTs lidem mais facilmente com oclusões. Neste estudo, nosso objetivo é verificar se podemos fazer com que as CNNs simulem essa capacidade de seletividade de patches ao incorporar efetivamente esse viés indutivo usando a técnica de aumento de dados chamada Patch Mixing, que consiste em inserir patches de outra imagem em uma imagem de treinamento e interpolar os rótulos entre as duas classes de imagem. Especificamente, usamos o Patch Mixing para treinar ViTs e CNNs de última geração, avaliando seu impacto na capacidade de ignorar patches fora do contexto e lidar com oclusões naturais. Descobrimos que os ViTs não melhoram nem pioram quando treinados com Patch Mixing, mas as CNNs adquirem novas capacidades para ignorar informações fora do contexto e melhoram em benchmarks de oclusão, levando-nos a concluir que esse método de treinamento é uma forma de simular nas CNNs as habilidades que os ViTs já possuem. Disponibilizaremos nossa implementação do Patch Mixing e os conjuntos de dados propostos para uso público. Página do projeto: https://arielnlee.github.io/PatchMixing/

English

Vision transformers (ViTs) have significantly changed the computer vision landscape and have periodically exhibited superior performance in vision tasks compared to convolutional neural networks (CNNs). Although the jury is still out on which model type is superior, each has unique inductive biases that shape their learning and generalization performance. For example, ViTs have interesting properties with respect to early layer non-local feature dependence, as well as self-attention mechanisms which enhance learning flexibility, enabling them to ignore out-of-context image information more effectively. We hypothesize that this power to ignore out-of-context information (which we name patch selectivity), while integrating in-context information in a non-local manner in early layers, allows ViTs to more easily handle occlusion. In this study, our aim is to see whether we can have CNNs simulate this ability of patch selectivity by effectively hardwiring this inductive bias using Patch Mixing data augmentation, which consists of inserting patches from another image onto a training image and interpolating labels between the two image classes. Specifically, we use Patch Mixing to train state-of-the-art ViTs and CNNs, assessing its impact on their ability to ignore out-of-context patches and handle natural occlusions. We find that ViTs do not improve nor degrade when trained using Patch Mixing, but CNNs acquire new capabilities to ignore out-of-context information and improve on occlusion benchmarks, leaving us to conclude that this training method is a way of simulating in CNNs the abilities that ViTs already possess. We will release our Patch Mixing implementation and proposed datasets for public use. Project page: https://arielnlee.github.io/PatchMixing/

Incorporando a Seletividade de Patches do ViT em CNNs através de Mistura de Patches

Hardwiring ViT Patch Selectivity into CNNs using Patch Mixing

Resumo

Support