SageAttention2++: Eine effizientere Implementierung von SageAttention2

SageAttention2++: A More Efficient Implementation of SageAttention2

May 27, 2025

Autoren: Jintao Zhang, Xiaoming Xu, Jia Wei, Haofeng Huang, Pengle Zhang, Chendong Xiang, Jun Zhu, Jianfei Chen

cs.AI

Zusammenfassung

Die Effizienz von Attention ist entscheidend, da ihre Zeitkomplexität quadratisch mit der Sequenzlänge wächst. SageAttention2 adressiert dies durch die Nutzung von Quantisierung, um Matrixmultiplikationen (Matmul) in Attention zu beschleunigen. Um SageAttention2 weiter zu beschleunigen, schlagen wir vor, die schnellere FP8-Matmul-Instruktion zu verwenden, die in FP16 akkumuliert wird. Diese Instruktion ist 2x schneller als die in SageAttention2 verwendete FP8-Matmul. Unsere Experimente zeigen, dass SageAttention2++ eine 3,9-fache Beschleunigung gegenüber FlashAttention erreicht, während die gleiche Attention-Genauigkeit wie bei SageAttention2 beibehalten wird. Dies bedeutet, dass SageAttention2++ effektiv verschiedene Modelle, einschließlich solcher für Sprach-, Bild- und Videogenerierung, beschleunigt, mit vernachlässigbarem Verlust bei den End-to-End-Metriken. Der Code wird unter https://github.com/thu-ml/SageAttention verfügbar sein.

English

The efficiency of attention is critical because its time complexity grows quadratically with sequence length. SageAttention2 addresses this by utilizing quantization to accelerate matrix multiplications (Matmul) in attention. To further accelerate SageAttention2, we propose to utilize the faster instruction of FP8 Matmul accumulated in FP16. The instruction is 2x faster than the FP8 Matmul used in SageAttention2. Our experiments show that SageAttention2++ achieves a 3.9x speedup over FlashAttention while maintaining the same attention accuracy as SageAttention2. This means SageAttention2++ effectively accelerates various models, including those for language, image, and video generation, with negligible end-to-end metrics loss. The code will be available at https://github.com/thu-ml/SageAttention.