Интеграция избирательности патчей ViT в CNN с использованием смешивания патчей

Hardwiring ViT Patch Selectivity into CNNs using Patch Mixing

June 30, 2023

Авторы: Ariel N. Lee, Sarah Adel Bargal, Janavi Kasera, Stan Sclaroff, Kate Saenko, Nataniel Ruiz

cs.AI

Аннотация

Трансформеры для обработки изображений (ViTs) существенно изменили ландшафт компьютерного зрения и периодически демонстрируют превосходную производительность в задачах визуального анализа по сравнению с сверточными нейронными сетями (CNNs). Хотя вопрос о том, какой тип модели является более эффективным, остается открытым, каждый из них обладает уникальными индуктивными предубеждениями, которые формируют их способность к обучению и обобщению. Например, ViTs обладают интересными свойствами в отношении нелокальной зависимости признаков на ранних слоях, а также механизмами самовнимания, которые повышают гибкость обучения, позволяя им более эффективно игнорировать информацию, выходящую за рамки контекста изображения. Мы предполагаем, что эта способность игнорировать информацию, выходящую за пределы контекста (которую мы называем избирательностью патчей), при одновременной интеграции информации в контексте нелокальным образом на ранних слоях, позволяет ViTs легче справляться с окклюзиями. В данном исследовании наша цель — выяснить, можем ли мы заставить CNNs имитировать эту способность избирательности патчей, эффективно закрепляя это индуктивное предубеждение с помощью метода аугментации данных Patch Mixing, который заключается во вставке патчей из другого изображения в обучающее изображение и интерполяции меток между двумя классами изображений. В частности, мы используем Patch Mixing для обучения современных ViTs и CNNs, оценивая его влияние на их способность игнорировать патчи, выходящие за пределы контекста, и справляться с естественными окклюзиями. Мы обнаруживаем, что ViTs не улучшаются и не ухудшаются при обучении с использованием Patch Mixing, но CNNs приобретают новые способности игнорировать информацию, выходящую за пределы контекста, и улучшают результаты на тестах с окклюзиями, что позволяет нам сделать вывод, что этот метод обучения является способом имитации в CNNs тех способностей, которыми уже обладают ViTs. Мы опубликуем нашу реализацию Patch Mixing и предложенные наборы данных для общего использования. Страница проекта: https://arielnlee.github.io/PatchMixing/

English

Vision transformers (ViTs) have significantly changed the computer vision landscape and have periodically exhibited superior performance in vision tasks compared to convolutional neural networks (CNNs). Although the jury is still out on which model type is superior, each has unique inductive biases that shape their learning and generalization performance. For example, ViTs have interesting properties with respect to early layer non-local feature dependence, as well as self-attention mechanisms which enhance learning flexibility, enabling them to ignore out-of-context image information more effectively. We hypothesize that this power to ignore out-of-context information (which we name patch selectivity), while integrating in-context information in a non-local manner in early layers, allows ViTs to more easily handle occlusion. In this study, our aim is to see whether we can have CNNs simulate this ability of patch selectivity by effectively hardwiring this inductive bias using Patch Mixing data augmentation, which consists of inserting patches from another image onto a training image and interpolating labels between the two image classes. Specifically, we use Patch Mixing to train state-of-the-art ViTs and CNNs, assessing its impact on their ability to ignore out-of-context patches and handle natural occlusions. We find that ViTs do not improve nor degrade when trained using Patch Mixing, but CNNs acquire new capabilities to ignore out-of-context information and improve on occlusion benchmarks, leaving us to conclude that this training method is a way of simulating in CNNs the abilities that ViTs already possess. We will release our Patch Mixing implementation and proposed datasets for public use. Project page: https://arielnlee.github.io/PatchMixing/