L'Addizione è Tutto ciò di cui hai Bisogno per Modelli Linguistici Energeticamente Efficienti

Addition is All You Need for Energy-efficient Language Models

October 1, 2024

Autori: Hongyin Luo, Wei Sun

cs.AI

Abstract

Le grandi reti neurali dedicano la maggior parte della computazione alle moltiplicazioni di tensori in virgola mobile. In questo lavoro, scopriamo che un moltiplicatore in virgola mobile può essere approssimato da un addizionatore intero con alta precisione. Proponiamo l'algoritmo di moltiplicazione a complessità lineare L-Mul che approssima la moltiplicazione di numeri in virgola mobile con operazioni di addizione intera. Il nuovo algoritmo richiede significativamente meno risorse computazionali rispetto alla moltiplicazione in virgola mobile a 8 bit, ma raggiunge una maggiore precisione. Rispetto alle moltiplicazioni in virgola mobile a 8 bit, il metodo proposto raggiunge una maggiore precisione ma consuma significativamente meno computazione a livello di bit. Poiché moltiplicare numeri in virgola mobile richiede un'energia notevolmente maggiore rispetto alle operazioni di addizione intera, l'applicazione dell'operazione L-Mul sull'hardware di elaborazione dei tensori può potenzialmente ridurre del 95% il costo energetico delle moltiplicazioni di tensori in virgola mobile elemento per elemento e dell'80% il costo energetico dei prodotti scalari. Abbiamo calcolato l'aspettativa di errore teorico di L-Mul e valutato l'algoritmo su una vasta gamma di compiti testuali, visivi e simbolici, inclusi la comprensione del linguaggio naturale, il ragionamento strutturale, la matematica e la risposta a domande di buon senso. I nostri esperimenti di analisi numerica concordano con la stima teorica dell'errore, che indica che L-Mul con mantissa a 4 bit raggiunge una precisione comparabile alle moltiplicazioni float8_e4m3, e L-Mul con mantissa a 3 bit supera float8_e5m2. I risultati della valutazione su benchmark popolari mostrano che l'applicazione diretta di L-Mul al meccanismo di attenzione è quasi priva di perdite. Mostriamo inoltre che sostituire tutte le moltiplicazioni in virgola mobile con L-Mul a mantissa a 3 bit in un modello trasformatore raggiunge una precisione equivalente all'utilizzo di float8_e4m3 come precisione di accumulazione sia nel raffinamento che nell'inferenza.

English

Large neural networks spend most computation on floating point tensor multiplications. In this work, we find that a floating point multiplier can be approximated by one integer adder with high precision. We propose the linear-complexity multiplication L-Mul algorithm that approximates floating point number multiplication with integer addition operations. The new algorithm costs significantly less computation resource than 8-bit floating point multiplication but achieves higher precision. Compared to 8-bit floating point multiplications, the proposed method achieves higher precision but consumes significantly less bit-level computation. Since multiplying floating point numbers requires substantially higher energy compared to integer addition operations, applying the L-Mul operation in tensor processing hardware can potentially reduce 95% energy cost by element-wise floating point tensor multiplications and 80% energy cost of dot products. We calculated the theoretical error expectation of L-Mul, and evaluated the algorithm on a wide range of textual, visual, and symbolic tasks, including natural language understanding, structural reasoning, mathematics, and commonsense question answering. Our numerical analysis experiments agree with the theoretical error estimation, which indicates that L-Mul with 4-bit mantissa achieves comparable precision as float8_e4m3 multiplications, and L-Mul with 3-bit mantissa outperforms float8_e5m2. Evaluation results on popular benchmarks show that directly applying L-Mul to the attention mechanism is almost lossless. We further show that replacing all floating point multiplications with 3-bit mantissa L-Mul in a transformer model achieves equivalent precision as using float8_e4m3 as accumulation precision in both fine-tuning and inference.