Замена функции softmax на ReLU в Vision Transformers
Replacing softmax with ReLU in Vision Transformers
September 15, 2023
Авторы: Mitchell Wortsman, Jaehoon Lee, Justin Gilmer, Simon Kornblith
cs.AI
Аннотация
Предыдущие исследования отмечали снижение точности при замене функции активации softmax в механизме внимания на поэлементную активацию, такую как ReLU. В контексте визуальных трансформеров мы обнаружили, что это ухудшение смягчается при делении на длину последовательности. Наши эксперименты по обучению визуальных трансформеров от малого до крупного масштаба на наборе данных ImageNet-21k показывают, что ReLU-внимание может приблизиться или соответствовать производительности softmax-внимания с точки зрения масштабируемости в зависимости от вычислительных ресурсов.
English
Previous research observed accuracy degradation when replacing the attention
softmax with a point-wise activation such as ReLU. In the context of vision
transformers, we find that this degradation is mitigated when dividing by
sequence length. Our experiments training small to large vision transformers on
ImageNet-21k indicate that ReLU-attention can approach or match the performance
of softmax-attention in terms of scaling behavior as a function of compute.