Batalla de los Backbones: Una Comparación a Gran Escala de Modelos Preentrenados en Tareas de Visión por Computadora

Resumen

Los sistemas de visión por computadora basados en redes neuronales suelen construirse sobre un *backbone*, un extractor de características preentrenado o inicializado aleatoriamente. Hace varios años, la opción predeterminada era una red neuronal convolucional entrenada en ImageNet. Sin embargo, en el pasado reciente ha surgido una gran cantidad de *backbones* preentrenados utilizando diversos algoritmos y conjuntos de datos. Si bien esta abundancia de opciones ha llevado a mejoras en el rendimiento de una variedad de sistemas, resulta difícil para los profesionales tomar decisiones informadas sobre qué *backbone* elegir. *Battle of the Backbones* (BoB) facilita esta elección al evaluar un conjunto diverso de modelos preentrenados, incluyendo modelos de visión y lenguaje, aquellos entrenados mediante aprendizaje autosupervisado y el *backbone* de Stable Diffusion, en una amplia gama de tareas de visión por computadora que van desde la clasificación hasta la detección de objetos, la generalización fuera de distribución (OOD) y más. Además, BoB arroja luz sobre direcciones prometedoras para que la comunidad de investigación avance en el campo de la visión por computadora, destacando las fortalezas y debilidades de los enfoques existentes a través de un análisis exhaustivo realizado en más de 1500 ejecuciones de entrenamiento. Aunque los transformadores de visión (ViTs) y el aprendizaje autosupervisado (SSL) son cada vez más populares, encontramos que las redes neuronales convolucionales preentrenadas de manera supervisada en grandes conjuntos de datos siguen siendo las que mejor desempeño tienen en la mayoría de las tareas entre los modelos que consideramos. Además, en comparaciones directas con las mismas arquitecturas y conjuntos de datos de preentrenamiento de tamaño similar, encontramos que los *backbones* SSL son altamente competitivos, lo que indica que trabajos futuros deberían realizar preentrenamiento SSL con arquitecturas avanzadas y conjuntos de datos de preentrenamiento más grandes. Publicamos los resultados brutos de nuestros experimentos junto con el código que permite a los investigadores someter sus propios *backbones* a esta prueba rigurosa aquí: https://github.com/hsouri/Battle-of-the-Backbones.

English

Neural network based computer vision systems are typically built on a backbone, a pretrained or randomly initialized feature extractor. Several years ago, the default option was an ImageNet-trained convolutional neural network. However, the recent past has seen the emergence of countless backbones pretrained using various algorithms and datasets. While this abundance of choice has led to performance increases for a range of systems, it is difficult for practitioners to make informed decisions about which backbone to choose. Battle of the Backbones (BoB) makes this choice easier by benchmarking a diverse suite of pretrained models, including vision-language models, those trained via self-supervised learning, and the Stable Diffusion backbone, across a diverse set of computer vision tasks ranging from classification to object detection to OOD generalization and more. Furthermore, BoB sheds light on promising directions for the research community to advance computer vision by illuminating strengths and weakness of existing approaches through a comprehensive analysis conducted on more than 1500 training runs. While vision transformers (ViTs) and self-supervised learning (SSL) are increasingly popular, we find that convolutional neural networks pretrained in a supervised fashion on large training sets still perform best on most tasks among the models we consider. Moreover, in apples-to-apples comparisons on the same architectures and similarly sized pretraining datasets, we find that SSL backbones are highly competitive, indicating that future works should perform SSL pretraining with advanced architectures and larger pretraining datasets. We release the raw results of our experiments along with code that allows researchers to put their own backbones through the gauntlet here: https://github.com/hsouri/Battle-of-the-Backbones

Batalla de los Backbones: Una Comparación a Gran Escala de Modelos Preentrenados en Tareas de Visión por Computadora

Battle of the Backbones: A Large-Scale Comparison of Pretrained Models across Computer Vision Tasks

Resumen

Support