Battaglia dei Backbone: Un Confronto su Larga Scala di Modelli Pre-addestrati nei Compiti di Computer Vision

Abstract

I sistemi di visione artificiale basati su reti neurali sono tipicamente costruiti su un backbone, un estrattore di caratteristiche pre-addestrato o inizializzato casualmente. Diversi anni fa, l'opzione predefinita era una rete neurale convoluzionale addestrata su ImageNet. Tuttavia, negli ultimi tempi abbiamo assistito all'emergere di innumerevoli backbone pre-addestrati utilizzando vari algoritmi e dataset. Sebbene questa abbondanza di scelta abbia portato a miglioramenti delle prestazioni per una gamma di sistemi, è difficile per i professionisti prendere decisioni informate su quale backbone scegliere. Battle of the Backbones (BoB) rende questa scelta più semplice eseguendo benchmark su una suite diversificata di modelli pre-addestrati, inclusi modelli visione-linguaggio, quelli addestrati tramite apprendimento auto-supervisionato e il backbone di Stable Diffusion, su un ampio insieme di task di visione artificiale che vanno dalla classificazione alla rilevazione di oggetti, alla generalizzazione OOD e altro ancora. Inoltre, BoB getta luce su direzioni promettenti per la comunità di ricerca per far progredire la visione artificiale, evidenziando punti di forza e debolezza degli approcci esistenti attraverso un'analisi completa condotta su oltre 1500 esecuzioni di addestramento. Sebbene i vision transformer (ViT) e l'apprendimento auto-supervisionato (SSL) siano sempre più popolari, scopriamo che le reti neurali convoluzionali pre-addestrate in modo supervisionato su grandi dataset di addestramento continuano a ottenere le migliori prestazioni sulla maggior parte dei task tra i modelli considerati. Inoltre, in confronti diretti sulle stesse architetture e su dataset di pre-addestramento di dimensioni simili, scopriamo che i backbone SSL sono altamente competitivi, indicando che i lavori futuri dovrebbero eseguire il pre-addestramento SSL con architetture avanzate e dataset di pre-addestramento più ampi. Rilasciamo i risultati grezzi dei nostri esperimenti insieme al codice che consente ai ricercatori di sottoporre i propri backbone a questa prova qui: https://github.com/hsouri/Battle-of-the-Backbones.

English

Neural network based computer vision systems are typically built on a backbone, a pretrained or randomly initialized feature extractor. Several years ago, the default option was an ImageNet-trained convolutional neural network. However, the recent past has seen the emergence of countless backbones pretrained using various algorithms and datasets. While this abundance of choice has led to performance increases for a range of systems, it is difficult for practitioners to make informed decisions about which backbone to choose. Battle of the Backbones (BoB) makes this choice easier by benchmarking a diverse suite of pretrained models, including vision-language models, those trained via self-supervised learning, and the Stable Diffusion backbone, across a diverse set of computer vision tasks ranging from classification to object detection to OOD generalization and more. Furthermore, BoB sheds light on promising directions for the research community to advance computer vision by illuminating strengths and weakness of existing approaches through a comprehensive analysis conducted on more than 1500 training runs. While vision transformers (ViTs) and self-supervised learning (SSL) are increasingly popular, we find that convolutional neural networks pretrained in a supervised fashion on large training sets still perform best on most tasks among the models we consider. Moreover, in apples-to-apples comparisons on the same architectures and similarly sized pretraining datasets, we find that SSL backbones are highly competitive, indicating that future works should perform SSL pretraining with advanced architectures and larger pretraining datasets. We release the raw results of our experiments along with code that allows researchers to put their own backbones through the gauntlet here: https://github.com/hsouri/Battle-of-the-Backbones

Battaglia dei Backbone: Un Confronto su Larga Scala di Modelli Pre-addestrati nei Compiti di Computer Vision

Battle of the Backbones: A Large-Scale Comparison of Pretrained Models across Computer Vision Tasks

Abstract

Support