Substituindo softmax por ReLU em Transformers de Visão
Replacing softmax with ReLU in Vision Transformers
September 15, 2023
Autores: Mitchell Wortsman, Jaehoon Lee, Justin Gilmer, Simon Kornblith
cs.AI
Resumo
Pesquisas anteriores observaram degradação na precisão ao substituir o softmax de atenção por uma ativação ponto a ponto, como a ReLU. No contexto de vision transformers, descobrimos que essa degradação é mitigada ao dividir pelo comprimento da sequência. Nossos experimentos, treinando vision transformers de pequeno a grande porte no ImageNet-21k, indicam que a atenção com ReLU pode se aproximar ou igualar o desempenho da atenção com softmax em termos de comportamento de escalonamento como uma função de computação.
English
Previous research observed accuracy degradation when replacing the attention
softmax with a point-wise activation such as ReLU. In the context of vision
transformers, we find that this degradation is mitigated when dividing by
sequence length. Our experiments training small to large vision transformers on
ImageNet-21k indicate that ReLU-attention can approach or match the performance
of softmax-attention in terms of scaling behavior as a function of compute.