Leis de Escala na Patchificação: Uma Imagem Vale 50.176 Tokens e Mais

Scaling Laws in Patchification: An Image Is Worth 50,176 Tokens And More

February 6, 2025

Autores: Feng Wang, Yaodong Yu, Guoyizhe Wei, Wei Shao, Yuyin Zhou, Alan Yuille, Cihang Xie

cs.AI

Resumo

Desde a introdução do Transformador de Visão (ViT), a patchificação tem sido amplamente considerada como uma abordagem de tokenização de imagem de fato para arquiteturas visuais simples. Ao comprimir o tamanho espacial das imagens, essa abordagem pode encurtar efetivamente a sequência de tokens e reduzir o custo computacional de arquiteturas visuais simples semelhantes ao ViT. Neste trabalho, nosso objetivo é examinar minuciosamente a perda de informação causada por esse paradigma de codificação compressiva baseada em patchificação e como isso afeta a compreensão visual. Realizamos extensos experimentos de dimensionamento de tamanho de patch e observamos com entusiasmo uma lei de dimensionamento intrigante na patchificação: os modelos podem consistentemente se beneficiar de tamanhos de patch reduzidos e obter um desempenho preditivo aprimorado, até atingir o tamanho mínimo de patch de 1x1, ou seja, a tokenização de pixel. Esta conclusão é amplamente aplicável em diferentes tarefas visuais, diversas escalas de entrada e arquiteturas diversas, como ViT e os recentes modelos Mamba. Além disso, como um subproduto, descobrimos que, com patches menores, as cabeças decodificadoras específicas da tarefa se tornam menos críticas para previsões densas. Nos experimentos, escalamos com sucesso a sequência visual para um comprimento excepcional de 50.176 tokens, alcançando uma precisão de teste competitiva de 84,6% com um modelo de tamanho base no benchmark ImageNet-1k. Esperamos que este estudo possa fornecer insights e fundamentos teóricos para futuros trabalhos na construção de modelos de visão não compressivos. O código está disponível em https://github.com/wangf3014/Patch_Scaling.

English

Since the introduction of Vision Transformer (ViT), patchification has long been regarded as a de facto image tokenization approach for plain visual architectures. By compressing the spatial size of images, this approach can effectively shorten the token sequence and reduce the computational cost of ViT-like plain architectures. In this work, we aim to thoroughly examine the information loss caused by this patchification-based compressive encoding paradigm and how it affects visual understanding. We conduct extensive patch size scaling experiments and excitedly observe an intriguing scaling law in patchification: the models can consistently benefit from decreased patch sizes and attain improved predictive performance, until it reaches the minimum patch size of 1x1, i.e., pixel tokenization. This conclusion is broadly applicable across different vision tasks, various input scales, and diverse architectures such as ViT and the recent Mamba models. Moreover, as a by-product, we discover that with smaller patches, task-specific decoder heads become less critical for dense prediction. In the experiments, we successfully scale up the visual sequence to an exceptional length of 50,176 tokens, achieving a competitive test accuracy of 84.6% with a base-sized model on the ImageNet-1k benchmark. We hope this study can provide insights and theoretical foundations for future works of building non-compressive vision models. Code is available at https://github.com/wangf3014/Patch_Scaling.