Reemplazar softmax con ReLU en Transformers de Visión
Replacing softmax with ReLU in Vision Transformers
September 15, 2023
Autores: Mitchell Wortsman, Jaehoon Lee, Justin Gilmer, Simon Kornblith
cs.AI
Resumen
Investigaciones previas observaron una degradación en la precisión al reemplazar la función softmax de atención con una activación punto a punto como ReLU. En el contexto de los transformadores de visión, encontramos que esta degradación se mitiga al dividir por la longitud de la secuencia. Nuestros experimentos, que entrenaron transformadores de visión desde pequeños hasta grandes en ImageNet-21k, indican que la atención con ReLU puede acercarse o igualar el rendimiento de la atención con softmax en términos de comportamiento de escalado en función del cómputo.
English
Previous research observed accuracy degradation when replacing the attention
softmax with a point-wise activation such as ReLU. In the context of vision
transformers, we find that this degradation is mitigated when dividing by
sequence length. Our experiments training small to large vision transformers on
ImageNet-21k indicate that ReLU-attention can approach or match the performance
of softmax-attention in terms of scaling behavior as a function of compute.