Schlacht der Backbones: Ein umfassender Vergleich vortrainierter Modelle in Computer-Vision-Aufgaben

Zusammenfassung

Auf neuronalen Netzwerken basierende Computer-Vision-Systeme werden typischerweise auf einem Backbone aufgebaut, einem vortrainierten oder zufällig initialisierten Merkmalsextraktor. Vor einigen Jahren war die Standardoption ein auf ImageNet trainiertes Convolutional Neural Network. In der jüngeren Vergangenheit sind jedoch unzählige Backbones entstanden, die mit verschiedenen Algorithmen und Datensätzen vortrainiert wurden. Während diese Fülle an Auswahlmöglichkeiten zu Leistungssteigerungen bei einer Reihe von Systemen geführt hat, fällt es Praktikern schwer, fundierte Entscheidungen darüber zu treffen, welcher Backbone zu wählen ist. „Battle of the Backbones“ (BoB) erleichtert diese Wahl, indem es eine vielfältige Suite von vortrainierten Modellen, einschließlich Vision-Language-Modelle, Modelle, die durch selbstüberwachtes Lernen trainiert wurden, und den Stable-Diffusion-Backbone, über eine breite Palette von Computer-Vision-Aufgaben hinweg benchmarket – von Klassifikation über Objekterkennung bis hin zu OOD-Generalisierung und mehr. Darüber hinaus beleuchtet BoB vielversprechende Richtungen für die Forschungsgemeinschaft, um die Computer-Vision voranzutreiben, indem es Stärken und Schwächen bestehender Ansätze durch eine umfassende Analyse von mehr als 1500 Trainingsläufen aufzeigt. Während Vision Transformer (ViTs) und selbstüberwachtes Lernen (SSL) zunehmend beliebt sind, stellen wir fest, dass Convolutional Neural Networks, die auf großen Trainingsdatensätzen auf überwachte Weise vortrainiert wurden, bei den meisten Aufgaben unter den von uns betrachteten Modellen immer noch am besten abschneiden. Darüber hinaus zeigen wir in direkten Vergleichen mit denselben Architekturen und ähnlich großen Vortrainingsdatensätzen, dass SSL-Backbones sehr wettbewerbsfähig sind, was darauf hindeutet, dass zukünftige Arbeiten SSL-Vortraining mit fortschrittlichen Architekturen und größeren Vortrainingsdatensätzen durchführen sollten. Wir veröffentlichen die Rohdaten unserer Experimente zusammen mit Code, der es Forschern ermöglicht, ihre eigenen Backbones durch den Prüfstand zu schicken: https://github.com/hsouri/Battle-of-the-Backbones.

English

Neural network based computer vision systems are typically built on a backbone, a pretrained or randomly initialized feature extractor. Several years ago, the default option was an ImageNet-trained convolutional neural network. However, the recent past has seen the emergence of countless backbones pretrained using various algorithms and datasets. While this abundance of choice has led to performance increases for a range of systems, it is difficult for practitioners to make informed decisions about which backbone to choose. Battle of the Backbones (BoB) makes this choice easier by benchmarking a diverse suite of pretrained models, including vision-language models, those trained via self-supervised learning, and the Stable Diffusion backbone, across a diverse set of computer vision tasks ranging from classification to object detection to OOD generalization and more. Furthermore, BoB sheds light on promising directions for the research community to advance computer vision by illuminating strengths and weakness of existing approaches through a comprehensive analysis conducted on more than 1500 training runs. While vision transformers (ViTs) and self-supervised learning (SSL) are increasingly popular, we find that convolutional neural networks pretrained in a supervised fashion on large training sets still perform best on most tasks among the models we consider. Moreover, in apples-to-apples comparisons on the same architectures and similarly sized pretraining datasets, we find that SSL backbones are highly competitive, indicating that future works should perform SSL pretraining with advanced architectures and larger pretraining datasets. We release the raw results of our experiments along with code that allows researchers to put their own backbones through the gauntlet here: https://github.com/hsouri/Battle-of-the-Backbones

Schlacht der Backbones: Ein umfassender Vergleich vortrainierter Modelle in Computer-Vision-Aufgaben

Battle of the Backbones: A Large-Scale Comparison of Pretrained Models across Computer Vision Tasks

Zusammenfassung

Support