Когда нам не нужны более крупные модели компьютерного зрения?

When Do We Not Need Larger Vision Models?

March 19, 2024

Авторы: Baifeng Shi, Ziyang Wu, Maolin Mao, Xin Wang, Trevor Darrell

cs.AI

Аннотация

Масштабирование размера моделей компьютерного зрения стало де-факто стандартом для получения более мощных визуальных представлений. В данной работе обсуждается момент, когда более крупные модели компьютерного зрения становятся излишними. Во-первых, мы продемонстрируем мощь Масштабирования на Масштабах (S^2), при котором предварительно обученная и замороженная более маленькая модель компьютерного зрения (например, ViT-B или ViT-L), запущенная на нескольких масштабах изображений, может превзойти более крупные модели (например, ViT-H или ViT-G) в задачах классификации, сегментации, оценки глубины, бенчмарках Мультимодальных LLM (MLLM) и робототехнике. Следует отметить, что S^2 достигает современной производительности в детальном понимании MLLM на бенчмарке V*, превосходя модели, такие как GPT-4V. Мы исследуем условия, при которых S^2 является предпочтительным подходом к масштабированию по сравнению с масштабированием по размеру модели. Хотя более крупные модели имеют преимущество лучшей обобщенности на сложных примерах, мы показываем, что характеристики более крупных моделей компьютерного зрения могут быть хорошо аппроксимированы характеристиками многомасштабных более маленьких моделей. Это подтверждает, что большинство, если не все, представления, полученные текущими крупными предварительно обученными моделями, также могут быть получены из многомасштабных более маленьких моделей. Наши результаты показывают, что многомасштабная более маленькая модель имеет сравнимую емкость обучения с более крупной моделью, и предварительное обучение более маленьких моделей с использованием S^2 может соответствовать или даже превзойти преимущество более крупных моделей. Мы выпустили пакет на Python, который может применять S^2 к любой модели компьютерного зрения одной строкой кода: https://github.com/bfshi/scaling_on_scales.

English

Scaling up the size of vision models has been the de facto standard to obtain more powerful visual representations. In this work, we discuss the point beyond which larger vision models are not necessary. First, we demonstrate the power of Scaling on Scales (S^2), whereby a pre-trained and frozen smaller vision model (e.g., ViT-B or ViT-L), run over multiple image scales, can outperform larger models (e.g., ViT-H or ViT-G) on classification, segmentation, depth estimation, Multimodal LLM (MLLM) benchmarks, and robotic manipulation. Notably, S^2 achieves state-of-the-art performance in detailed understanding of MLLM on the V* benchmark, surpassing models such as GPT-4V. We examine the conditions under which S^2 is a preferred scaling approach compared to scaling on model size. While larger models have the advantage of better generalization on hard examples, we show that features of larger vision models can be well approximated by those of multi-scale smaller models. This suggests most, if not all, of the representations learned by current large pre-trained models can also be obtained from multi-scale smaller models. Our results show that a multi-scale smaller model has comparable learning capacity to a larger model, and pre-training smaller models with S^2 can match or even exceed the advantage of larger models. We release a Python package that can apply S^2 on any vision model with one line of code: https://github.com/bfshi/scaling_on_scales.