Битва архитектур: Масштабное сравнение предобученных моделей в задачах компьютерного зрения

Аннотация

Системы компьютерного зрения на основе нейронных сетей обычно строятся на базе так называемого "бэкбона" — предварительно обученного или случайно инициализированного экстрактора признаков. Несколько лет назад стандартным выбором была сверточная нейронная сеть, обученная на наборе данных ImageNet. Однако в последнее время появилось множество бэкбонов, предварительно обученных с использованием различных алгоритмов и наборов данных. Хотя это разнообразие привело к повышению производительности для ряда систем, практикам сложно принимать обоснованные решения о том, какой бэкбон выбрать. Проект "Battle of the Backbones" (BoB) упрощает этот выбор, проводя сравнительный анализ разнообразных предварительно обученных моделей, включая модели, объединяющие зрение и язык, модели, обученные с использованием самообучения, а также бэкбон Stable Diffusion, на широком спектре задач компьютерного зрения — от классификации до обнаружения объектов, обобщения на незнакомые данные и других. Кроме того, BoB выявляет перспективные направления для исследовательского сообщества, продвигая компьютерное зрение за счет анализа сильных и слабых сторон существующих подходов, проведенного на основе более чем 1500 экспериментов. Хотя трансформеры для зрения (ViT) и самообучение (SSL) становятся все более популярными, мы обнаружили, что сверточные нейронные сети, предварительно обученные с учителем на больших наборах данных, по-прежнему демонстрируют наилучшие результаты на большинстве задач среди рассматриваемых моделей. Более того, в прямых сравнениях на одинаковых архитектурах и наборах данных схожего размера бэкбоны, обученные с использованием SSL, показывают высокую конкурентоспособность, что указывает на необходимость использования более продвинутых архитектур и больших наборов данных для предварительного обучения в будущих работах. Мы публикуем сырые результаты наших экспериментов вместе с кодом, который позволяет исследователям проверить свои бэкбоны в аналогичных условиях: https://github.com/hsouri/Battle-of-the-Backbones.

English

Neural network based computer vision systems are typically built on a backbone, a pretrained or randomly initialized feature extractor. Several years ago, the default option was an ImageNet-trained convolutional neural network. However, the recent past has seen the emergence of countless backbones pretrained using various algorithms and datasets. While this abundance of choice has led to performance increases for a range of systems, it is difficult for practitioners to make informed decisions about which backbone to choose. Battle of the Backbones (BoB) makes this choice easier by benchmarking a diverse suite of pretrained models, including vision-language models, those trained via self-supervised learning, and the Stable Diffusion backbone, across a diverse set of computer vision tasks ranging from classification to object detection to OOD generalization and more. Furthermore, BoB sheds light on promising directions for the research community to advance computer vision by illuminating strengths and weakness of existing approaches through a comprehensive analysis conducted on more than 1500 training runs. While vision transformers (ViTs) and self-supervised learning (SSL) are increasingly popular, we find that convolutional neural networks pretrained in a supervised fashion on large training sets still perform best on most tasks among the models we consider. Moreover, in apples-to-apples comparisons on the same architectures and similarly sized pretraining datasets, we find that SSL backbones are highly competitive, indicating that future works should perform SSL pretraining with advanced architectures and larger pretraining datasets. We release the raw results of our experiments along with code that allows researchers to put their own backbones through the gauntlet here: https://github.com/hsouri/Battle-of-the-Backbones

Битва архитектур: Масштабное сравнение предобученных моделей в задачах компьютерного зрения

Battle of the Backbones: A Large-Scale Comparison of Pretrained Models across Computer Vision Tasks

Аннотация

Support