Ersetzen von Softmax durch ReLU in Vision Transformern

Zusammenfassung

Frühere Forschungen beobachteten eine Genauigkeitsverschlechterung, wenn die Softmax-Attention durch eine punktweise Aktivierungsfunktion wie ReLU ersetzt wurde. Im Kontext von Vision-Transformern stellen wir fest, dass diese Verschlechterung gemildert wird, wenn durch die Sequenzlänge dividiert wird. Unsere Experimente, bei denen kleine bis große Vision-Transformer auf ImageNet-21k trainiert wurden, zeigen, dass ReLU-Attention das Skalierungsverhalten der Softmax-Attention in Bezug auf den Rechenaufwand annähern oder sogar erreichen kann.

English

Previous research observed accuracy degradation when replacing the attention softmax with a point-wise activation such as ReLU. In the context of vision transformers, we find that this degradation is mitigated when dividing by sequence length. Our experiments training small to large vision transformers on ImageNet-21k indicate that ReLU-attention can approach or match the performance of softmax-attention in terms of scaling behavior as a function of compute.

Ersetzen von Softmax durch ReLU in Vision Transformern

Replacing softmax with ReLU in Vision Transformers

Zusammenfassung

Support