Entrenamiento de Precisión Reducida en Modelos de Lenguaje a Gran Escala: Métodos, Desafíos y Oportunidades

Low-Precision Training of Large Language Models: Methods, Challenges, and Opportunities

May 2, 2025

Autores: Zhiwei Hao, Jianyuan Guo, Li Shen, Yong Luo, Han Hu, Guoxia Wang, Dianhai Yu, Yonggang Wen, Dacheng Tao

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han logrado un rendimiento impresionante en diversos dominios. Sin embargo, los recursos de hardware sustanciales requeridos para su entrenamiento representan una barrera significativa para la eficiencia y escalabilidad. Para mitigar este desafío, las técnicas de entrenamiento de baja precisión han sido ampliamente adoptadas, lo que ha llevado a avances notables en la eficiencia del entrenamiento. A pesar de estas mejoras, el entrenamiento de baja precisión involucra varios componentes—como pesos, activaciones y gradientes—cada uno de los cuales puede representarse en diferentes formatos numéricos. Esta diversidad ha creado un panorama fragmentado en la investigación sobre entrenamiento de baja precisión, dificultando que los investigadores obtengan una visión unificada del campo. Este estudio proporciona una revisión exhaustiva de los métodos existentes de entrenamiento de baja precisión. Para organizar sistemáticamente estos enfoques, los categorizamos en tres grupos principales basados en sus formatos numéricos subyacentes, un factor clave que influye en la compatibilidad del hardware, la eficiencia computacional y la facilidad de referencia para los lectores. Las categorías son: (1) métodos basados en punto fijo y enteros, (2) métodos basados en punto flotante, y (3) métodos basados en formatos personalizados. Además, discutimos enfoques de entrenamiento consciente de la cuantización, que comparten similitudes clave con el entrenamiento de baja precisión durante la propagación hacia adelante. Finalmente, destacamos varias direcciones de investigación prometedoras para avanzar en este campo. Una colección de los artículos discutidos en este estudio se proporciona en https://github.com/Hao840/Awesome-Low-Precision-Training.

English

Large language models (LLMs) have achieved impressive performance across various domains. However, the substantial hardware resources required for their training present a significant barrier to efficiency and scalability. To mitigate this challenge, low-precision training techniques have been widely adopted, leading to notable advancements in training efficiency. Despite these gains, low-precision training involves several componentsx2013such as weights, activations, and gradientsx2013each of which can be represented in different numerical formats. The resulting diversity has created a fragmented landscape in low-precision training research, making it difficult for researchers to gain a unified overview of the field. This survey provides a comprehensive review of existing low-precision training methods. To systematically organize these approaches, we categorize them into three primary groups based on their underlying numerical formats, which is a key factor influencing hardware compatibility, computational efficiency, and ease of reference for readers. The categories are: (1) fixed-point and integer-based methods, (2) floating-point-based methods, and (3) customized format-based methods. Additionally, we discuss quantization-aware training approaches, which share key similarities with low-precision training during forward propagation. Finally, we highlight several promising research directions to advance this field. A collection of papers discussed in this survey is provided in https://github.com/Hao840/Awesome-Low-Precision-Training.