Treinamento de Baixa Precisão em Modelos de Linguagem de Grande Escala: Métodos, Desafios e Oportunidades

Low-Precision Training of Large Language Models: Methods, Challenges, and Opportunities

May 2, 2025

Autores: Zhiwei Hao, Jianyuan Guo, Li Shen, Yong Luo, Han Hu, Guoxia Wang, Dianhai Yu, Yonggang Wen, Dacheng Tao

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) têm alcançado desempenho impressionante em diversos domínios. No entanto, os recursos de hardware substanciais necessários para seu treinamento representam uma barreira significativa para eficiência e escalabilidade. Para mitigar esse desafio, técnicas de treinamento de baixa precisão têm sido amplamente adotadas, levando a avanços notáveis na eficiência do treinamento. Apesar desses ganhos, o treinamento de baixa precisão envolve vários componentes—como pesos, ativações e gradientes—cada um dos quais pode ser representado em diferentes formatos numéricos. A diversidade resultante criou um cenário fragmentado na pesquisa de treinamento de baixa precisão, dificultando que os pesquisadores obtenham uma visão unificada do campo. Esta pesquisa fornece uma revisão abrangente dos métodos existentes de treinamento de baixa precisão. Para organizar sistematicamente essas abordagens, as categorizamos em três grupos principais com base em seus formatos numéricos subjacentes, que é um fator chave que influencia a compatibilidade de hardware, eficiência computacional e facilidade de referência para os leitores. As categorias são: (1) métodos baseados em ponto fixo e inteiros, (2) métodos baseados em ponto flutuante, e (3) métodos baseados em formatos personalizados. Além disso, discutimos abordagens de treinamento com consciência de quantização, que compartilham semelhanças importantes com o treinamento de baixa precisão durante a propagação direta. Por fim, destacamos várias direções de pesquisa promissoras para avançar esse campo. Uma coleção de artigos discutidos nesta pesquisa é fornecida em https://github.com/Hao840/Awesome-Low-Precision-Training.

English

Large language models (LLMs) have achieved impressive performance across various domains. However, the substantial hardware resources required for their training present a significant barrier to efficiency and scalability. To mitigate this challenge, low-precision training techniques have been widely adopted, leading to notable advancements in training efficiency. Despite these gains, low-precision training involves several componentsx2013such as weights, activations, and gradientsx2013each of which can be represented in different numerical formats. The resulting diversity has created a fragmented landscape in low-precision training research, making it difficult for researchers to gain a unified overview of the field. This survey provides a comprehensive review of existing low-precision training methods. To systematically organize these approaches, we categorize them into three primary groups based on their underlying numerical formats, which is a key factor influencing hardware compatibility, computational efficiency, and ease of reference for readers. The categories are: (1) fixed-point and integer-based methods, (2) floating-point-based methods, and (3) customized format-based methods. Additionally, we discuss quantization-aware training approaches, which share key similarities with low-precision training during forward propagation. Finally, we highlight several promising research directions to advance this field. A collection of papers discussed in this survey is provided in https://github.com/Hao840/Awesome-Low-Precision-Training.