Addition ist alles, was Sie für energieeffiziente Sprachmodelle benötigen.

Addition is All You Need for Energy-efficient Language Models

October 1, 2024

Autoren: Hongyin Luo, Wei Sun

cs.AI

Zusammenfassung

Große neuronale Netzwerke verbringen den Großteil der Berechnungen mit Gleitkomma-Tensor-Multiplikationen. In dieser Arbeit stellen wir fest, dass ein Gleitkomma-Multiplizierer mit hoher Genauigkeit durch einen ganzzahligen Addierer approximiert werden kann. Wir schlagen den linearen Komplexitäts-Multiplikations-L-Mul-Algorithmus vor, der die Multiplikation von Gleitkommazahlen durch Ganzzahloperationen approximiert. Der neue Algorithmus benötigt signifikant weniger Rechenressourcen als die 8-Bit-Gleitkomma-Multiplikation, erreicht jedoch eine höhere Genauigkeit. Im Vergleich zu 8-Bit-Gleitkomma-Multiplikationen erzielt die vorgeschlagene Methode eine höhere Genauigkeit, verbraucht jedoch wesentlich weniger Bit-Ebene-Berechnungen. Da die Multiplikation von Gleitkommazahlen im Vergleich zu Ganzzahloperationen wesentlich mehr Energie erfordert, kann die Anwendung der L-Mul-Operation in Hardware zur Tensorverarbeitung potenziell die Energiekosten um 95 % bei elementweisen Gleitkomma-Tensor-Multiplikationen und um 80 % bei Skalarprodukten reduzieren. Wir haben die theoretische Fehlererwartung von L-Mul berechnet und den Algorithmus anhand einer Vielzahl von textuellen, visuellen und symbolischen Aufgaben evaluiert, einschließlich des Verständnisses natürlicher Sprache, struktureller Schlussfolgerungen, Mathematik und allgemeiner Fragebeantwortung. Unsere numerischen Analyseexperimente stimmen mit der theoretischen Fehlerabschätzung überein, was darauf hindeutet, dass L-Mul mit 4-Bit-Mantisse eine vergleichbare Genauigkeit wie float8_e4m3-Multiplikationen erreicht, und L-Mul mit 3-Bit-Mantisse float8_e5m2 übertrifft. Die Evaluierungsergebnisse auf gängigen Benchmarks zeigen, dass die direkte Anwendung von L-Mul auf den Aufmerksamkeitsmechanismus nahezu verlustfrei ist. Wir zeigen weiterhin, dass der Ersatz aller Gleitkomma-Multiplikationen durch L-Mul mit 3-Bit-Mantisse in einem Transformer-Modell eine äquivalente Genauigkeit wie die Verwendung von float8_e4m3 als Akkumulationsgenauigkeit sowohl beim Feintuning als auch bei der Inferenz erreicht.

English

Large neural networks spend most computation on floating point tensor multiplications. In this work, we find that a floating point multiplier can be approximated by one integer adder with high precision. We propose the linear-complexity multiplication L-Mul algorithm that approximates floating point number multiplication with integer addition operations. The new algorithm costs significantly less computation resource than 8-bit floating point multiplication but achieves higher precision. Compared to 8-bit floating point multiplications, the proposed method achieves higher precision but consumes significantly less bit-level computation. Since multiplying floating point numbers requires substantially higher energy compared to integer addition operations, applying the L-Mul operation in tensor processing hardware can potentially reduce 95% energy cost by element-wise floating point tensor multiplications and 80% energy cost of dot products. We calculated the theoretical error expectation of L-Mul, and evaluated the algorithm on a wide range of textual, visual, and symbolic tasks, including natural language understanding, structural reasoning, mathematics, and commonsense question answering. Our numerical analysis experiments agree with the theoretical error estimation, which indicates that L-Mul with 4-bit mantissa achieves comparable precision as float8_e4m3 multiplications, and L-Mul with 3-bit mantissa outperforms float8_e5m2. Evaluation results on popular benchmarks show that directly applying L-Mul to the attention mechanism is almost lossless. We further show that replacing all floating point multiplications with 3-bit mantissa L-Mul in a transformer model achieves equivalent precision as using float8_e4m3 as accumulation precision in both fine-tuning and inference.