Addestramento a Bassa Precisione per Modelli Linguistici di Grandi Dimensioni: Metodi, Sfide e Opportunità

Low-Precision Training of Large Language Models: Methods, Challenges, and Opportunities

May 2, 2025

Autori: Zhiwei Hao, Jianyuan Guo, Li Shen, Yong Luo, Han Hu, Guoxia Wang, Dianhai Yu, Yonggang Wen, Dacheng Tao

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno ottenuto prestazioni impressionanti in vari domini. Tuttavia, le ingenti risorse hardware necessarie per il loro addestramento rappresentano un significativo ostacolo all'efficienza e alla scalabilità. Per mitigare questa sfida, le tecniche di addestramento a bassa precisione sono state ampiamente adottate, portando a notevoli progressi nell'efficienza dell'addestramento. Nonostante questi vantaggi, l'addestramento a bassa precisione coinvolge diversi componenti—come pesi, attivazioni e gradienti—ciascuno dei quali può essere rappresentato in diversi formati numerici. La conseguente diversità ha creato un panorama frammentato nella ricerca sull'addestramento a bassa precisione, rendendo difficile per i ricercatori ottenere una visione unificata del campo. Questa rassegna fornisce una revisione completa dei metodi esistenti di addestramento a bassa precisione. Per organizzare sistematicamente questi approcci, li categorizziamo in tre gruppi principali basati sui loro formati numerici sottostanti, che è un fattore chiave che influenza la compatibilità hardware, l'efficienza computazionale e la facilità di riferimento per i lettori. Le categorie sono: (1) metodi basati su numeri fissi e interi, (2) metodi basati su numeri in virgola mobile e (3) metodi basati su formati personalizzati. Inoltre, discutiamo gli approcci di addestramento con consapevolezza della quantizzazione, che condividono somiglianze chiave con l'addestramento a bassa precisione durante la propagazione in avanti. Infine, evidenziamo diverse direzioni di ricerca promettenti per far progredire questo campo. Una raccolta di articoli discussi in questa rassegna è disponibile su https://github.com/Hao840/Awesome-Low-Precision-Training.

English

Large language models (LLMs) have achieved impressive performance across various domains. However, the substantial hardware resources required for their training present a significant barrier to efficiency and scalability. To mitigate this challenge, low-precision training techniques have been widely adopted, leading to notable advancements in training efficiency. Despite these gains, low-precision training involves several componentsx2013such as weights, activations, and gradientsx2013each of which can be represented in different numerical formats. The resulting diversity has created a fragmented landscape in low-precision training research, making it difficult for researchers to gain a unified overview of the field. This survey provides a comprehensive review of existing low-precision training methods. To systematically organize these approaches, we categorize them into three primary groups based on their underlying numerical formats, which is a key factor influencing hardware compatibility, computational efficiency, and ease of reference for readers. The categories are: (1) fixed-point and integer-based methods, (2) floating-point-based methods, and (3) customized format-based methods. Additionally, we discuss quantization-aware training approaches, which share key similarities with low-precision training during forward propagation. Finally, we highlight several promising research directions to advance this field. A collection of papers discussed in this survey is provided in https://github.com/Hao840/Awesome-Low-Precision-Training.