Lois d'échelle dans la patchification : Une image vaut 50 176 jetons et plus

Scaling Laws in Patchification: An Image Is Worth 50,176 Tokens And More

February 6, 2025

Auteurs: Feng Wang, Yaodong Yu, Guoyizhe Wei, Wei Shao, Yuyin Zhou, Alan Yuille, Cihang Xie

cs.AI

Résumé

Depuis l'introduction du Transformateur de Vision (ViT), la patchification est depuis longtemps considérée comme une approche de tokenisation d'image de facto pour les architectures visuelles simples. En comprimant la taille spatiale des images, cette approche peut raccourcir efficacement la séquence de tokens et réduire le coût computationnel des architectures visuelles simples de type ViT. Dans ce travail, nous visons à examiner en détail la perte d'information causée par ce paradigme d'encodage compressif basé sur la patchification et comment cela affecte la compréhension visuelle. Nous menons des expériences approfondies d'ajustement de la taille des patchs et observons avec enthousiasme une loi d'ajustement intrigante dans la patchification : les modèles peuvent bénéficier de manière cohérente de tailles de patch réduites et obtenir de meilleures performances prédictives, jusqu'à ce qu'ils atteignent la taille minimale de patch de 1x1, c'est-à-dire la tokenisation par pixel. Cette conclusion est largement applicable à différentes tâches visuelles, diverses échelles d'entrée et architectures variées telles que ViT et les récents modèles Mamba. De plus, en tant que sous-produit, nous découvrons qu'avec des patchs plus petits, les têtes de décodeur spécifiques à la tâche deviennent moins critiques pour la prédiction dense. Dans les expériences, nous parvenons à augmenter la séquence visuelle jusqu'à une longueur exceptionnelle de 50 176 tokens, atteignant une précision de test compétitive de 84,6% avec un modèle de taille de base sur le benchmark ImageNet-1k. Nous espérons que cette étude pourra fournir des perspectives et des bases théoriques pour les travaux futurs de construction de modèles visuels non compressifs. Le code est disponible sur https://github.com/wangf3014/Patch_Scaling.

English

Since the introduction of Vision Transformer (ViT), patchification has long been regarded as a de facto image tokenization approach for plain visual architectures. By compressing the spatial size of images, this approach can effectively shorten the token sequence and reduce the computational cost of ViT-like plain architectures. In this work, we aim to thoroughly examine the information loss caused by this patchification-based compressive encoding paradigm and how it affects visual understanding. We conduct extensive patch size scaling experiments and excitedly observe an intriguing scaling law in patchification: the models can consistently benefit from decreased patch sizes and attain improved predictive performance, until it reaches the minimum patch size of 1x1, i.e., pixel tokenization. This conclusion is broadly applicable across different vision tasks, various input scales, and diverse architectures such as ViT and the recent Mamba models. Moreover, as a by-product, we discover that with smaller patches, task-specific decoder heads become less critical for dense prediction. In the experiments, we successfully scale up the visual sequence to an exceptional length of 50,176 tokens, achieving a competitive test accuracy of 84.6% with a base-sized model on the ImageNet-1k benchmark. We hope this study can provide insights and theoretical foundations for future works of building non-compressive vision models. Code is available at https://github.com/wangf3014/Patch_Scaling.