Законы масштабирования в патчификации: изображение стоит 50 176 токенов и даже больше

Scaling Laws in Patchification: An Image Is Worth 50,176 Tokens And More

February 6, 2025

Авторы: Feng Wang, Yaodong Yu, Guoyizhe Wei, Wei Shao, Yuyin Zhou, Alan Yuille, Cihang Xie

cs.AI

Аннотация

С момента появления Vision Transformer (ViT) патчификация долгое время рассматривалась как фактический подход к токенизации изображений для обычных визуальных архитектур. Путем сжатия пространственного размера изображений этот подход может эффективно сократить последовательность токенов и уменьшить вычислительные затраты для обычных архитектур, подобных ViT. В данной работе мы стремимся тщательно изучить потерю информации, вызванную этим патчификационным компрессионным подходом, и его влияние на визуальное понимание. Мы проводим обширные эксперименты по масштабированию размера патчей и с интересом наблюдаем за увлекательным законом масштабирования в патчификации: модели последовательно получают выгоду от уменьшения размеров патчей и достигают улучшенной предсказательной производительности, пока не достигают минимального размера патча 1x1, т.е. токенизации пикселей. Этот вывод широко применим для различных визионерских задач, различных масштабов ввода и различных архитектур, таких как ViT и недавние модели Mamba. Более того, как побочный результат, мы обнаруживаем, что с более маленькими патчами задачи, специфичные для задач декодеры становятся менее критическими для плотного предсказания. В экспериментах мы успешно масштабируем визуальную последовательность до исключительной длины 50 176 токенов, достигая конкурентоспособной точности на тесте 84,6% с моделью базового размера на бенчмарке ImageNet-1k. Мы надеемся, что данное исследование может предоставить понимание и теоретические основы для будущих работ по созданию некомпрессионных визионерских моделей. Код доступен по ссылке https://github.com/wangf3014/Patch_Scaling.

English

Since the introduction of Vision Transformer (ViT), patchification has long been regarded as a de facto image tokenization approach for plain visual architectures. By compressing the spatial size of images, this approach can effectively shorten the token sequence and reduce the computational cost of ViT-like plain architectures. In this work, we aim to thoroughly examine the information loss caused by this patchification-based compressive encoding paradigm and how it affects visual understanding. We conduct extensive patch size scaling experiments and excitedly observe an intriguing scaling law in patchification: the models can consistently benefit from decreased patch sizes and attain improved predictive performance, until it reaches the minimum patch size of 1x1, i.e., pixel tokenization. This conclusion is broadly applicable across different vision tasks, various input scales, and diverse architectures such as ViT and the recent Mamba models. Moreover, as a by-product, we discover that with smaller patches, task-specific decoder heads become less critical for dense prediction. In the experiments, we successfully scale up the visual sequence to an exceptional length of 50,176 tokens, achieving a competitive test accuracy of 84.6% with a base-sized model on the ImageNet-1k benchmark. We hope this study can provide insights and theoretical foundations for future works of building non-compressive vision models. Code is available at https://github.com/wangf3014/Patch_Scaling.