Leyes de Escala para el Entrenamiento de Cuantificación de Punto Flotante

Scaling Laws for Floating Point Quantization Training

January 5, 2025

Autores: Xingwu Sun, Shuaipeng Li, Ruobing Xie, Weidong Han, Kan Wu, Zhen Yang, Yixing Li, An Wang, Shuai Li, Jinbao Xue, Yu Cheng, Yangyu Tao, Zhanhui Kang, Chengzhong Xu, Di Wang, Jie Jiang

cs.AI

Resumen

El entrenamiento de baja precisión se considera una estrategia efectiva para reducir tanto los costos de entrenamiento como los costos de inferencia posteriores. Las leyes de escala anteriores para la precisión se centran principalmente en la cuantificación de enteros, prestando menos atención a los componentes en la cuantificación de punto flotante y, por lo tanto, no pueden adaptarse bien a las pérdidas de LLM en este escenario. En contraste, aunque el entrenamiento de cuantificación de punto flotante se implementa más comúnmente en la producción, la investigación al respecto ha sido relativamente superficial. En este documento, exploramos a fondo los efectos de los objetivos de cuantificación de punto flotante, los bits del exponente, los bits de la mantisa y la granularidad del cálculo del factor de escala en el rendimiento del entrenamiento de cuantificación de punto flotante de modelos LLM. Al presentar una ley de escala unificada precisa para la cuantificación de punto flotante, también brindamos sugerencias valiosas para la comunidad: (1) Los bits del exponente contribuyen ligeramente más al rendimiento del modelo que los bits de la mantisa. Proporcionamos la proporción óptima de bits de exponente-mantisa para diferentes números de bits, que está disponible para futura referencia por parte de los fabricantes de hardware; (2) Descubrimos la formación del tamaño crítico de datos en el entrenamiento de LLM de baja precisión. Demasiados datos de entrenamiento que exceden el tamaño crítico de datos traerán inversamente una degradación del rendimiento de LLM; (3) La precisión óptima de cuantificación de punto flotante es directamente proporcional al poder computacional, pero dentro de un amplio rango de poder computacional, estimamos que la mejor precisión en términos de costo-rendimiento se encuentra entre 4 y 8 bits.

English

Low-precision training is considered an effective strategy for reducing both training and downstream inference costs. Previous scaling laws for precision mainly focus on integer quantization, which pay less attention to the constituents in floating-point quantization and thus cannot well fit the LLM losses in this scenario. In contrast, while floating-point quantization training is more commonly implemented in production, the research on it has been relatively superficial. In this paper, we thoroughly explore the effects of floating-point quantization targets, exponent bits, mantissa bits, and the calculation granularity of the scaling factor in floating-point quantization training performance of LLM models. While presenting an accurate floating-point quantization unified scaling law, we also provide valuable suggestions for the community: (1) Exponent bits contribute slightly more to the model performance than mantissa bits. We provide the optimal exponent-mantissa bit ratio for different bit numbers, which is available for future reference by hardware manufacturers; (2) We discover the formation of the critical data size in low-precision LLM training. Too much training data exceeding the critical data size will inversely bring in degradation of LLM performance; (3) The optimal floating-point quantization precision is directly proportional to the computational power, but within a wide computational power range, we estimate that the best cost-performance precision lies between 4-8 bits.