Incrustando la selectividad de parches de ViT en CNNs mediante mezcla de parches

Hardwiring ViT Patch Selectivity into CNNs using Patch Mixing

June 30, 2023

Autores: Ariel N. Lee, Sarah Adel Bargal, Janavi Kasera, Stan Sclaroff, Kate Saenko, Nataniel Ruiz

cs.AI

Resumen

Los transformadores de visión (ViTs) han transformado significativamente el panorama de la visión por computadora y han demostrado periódicamente un rendimiento superior en tareas de visión en comparación con las redes neuronales convolucionales (CNNs). Aunque aún no hay un veredicto definitivo sobre qué tipo de modelo es superior, cada uno tiene sesgos inductivos únicos que moldean su aprendizaje y rendimiento de generalización. Por ejemplo, los ViTs poseen propiedades interesantes en cuanto a la dependencia de características no locales en las capas iniciales, así como mecanismos de autoatención que mejoran la flexibilidad del aprendizaje, permitiéndoles ignorar de manera más efectiva la información de la imagen que está fuera de contexto. Nuestra hipótesis es que esta capacidad de ignorar información fuera de contexto (a la que llamamos selectividad de parches), mientras se integra información en contexto de manera no local en las capas iniciales, permite a los ViTs manejar más fácilmente las oclusiones. En este estudio, nuestro objetivo es ver si podemos hacer que las CNNs simulen esta capacidad de selectividad de parches al incorporar efectivamente este sesgo inductivo mediante la técnica de aumento de datos Patch Mixing, que consiste en insertar parches de otra imagen en una imagen de entrenamiento e interpolar las etiquetas entre las dos clases de imágenes. Específicamente, utilizamos Patch Mixing para entrenar ViTs y CNNs de última generación, evaluando su impacto en la capacidad de ignorar parches fuera de contexto y manejar oclusiones naturales. Descubrimos que los ViTs no mejoran ni empeoran cuando se entrenan con Patch Mixing, pero las CNNs adquieren nuevas capacidades para ignorar información fuera de contexto y mejoran en los puntos de referencia de oclusión, lo que nos lleva a concluir que este método de entrenamiento es una forma de simular en las CNNs las habilidades que los ViTs ya poseen. Publicaremos nuestra implementación de Patch Mixing y los conjuntos de datos propuestos para uso público. Página del proyecto: https://arielnlee.github.io/PatchMixing/

English

Vision transformers (ViTs) have significantly changed the computer vision landscape and have periodically exhibited superior performance in vision tasks compared to convolutional neural networks (CNNs). Although the jury is still out on which model type is superior, each has unique inductive biases that shape their learning and generalization performance. For example, ViTs have interesting properties with respect to early layer non-local feature dependence, as well as self-attention mechanisms which enhance learning flexibility, enabling them to ignore out-of-context image information more effectively. We hypothesize that this power to ignore out-of-context information (which we name patch selectivity), while integrating in-context information in a non-local manner in early layers, allows ViTs to more easily handle occlusion. In this study, our aim is to see whether we can have CNNs simulate this ability of patch selectivity by effectively hardwiring this inductive bias using Patch Mixing data augmentation, which consists of inserting patches from another image onto a training image and interpolating labels between the two image classes. Specifically, we use Patch Mixing to train state-of-the-art ViTs and CNNs, assessing its impact on their ability to ignore out-of-context patches and handle natural occlusions. We find that ViTs do not improve nor degrade when trained using Patch Mixing, but CNNs acquire new capabilities to ignore out-of-context information and improve on occlusion benchmarks, leaving us to conclude that this training method is a way of simulating in CNNs the abilities that ViTs already possess. We will release our Patch Mixing implementation and proposed datasets for public use. Project page: https://arielnlee.github.io/PatchMixing/