Законы масштабирования для обучения квантования с плавающей запятой

Scaling Laws for Floating Point Quantization Training

January 5, 2025

Авторы: Xingwu Sun, Shuaipeng Li, Ruobing Xie, Weidong Han, Kan Wu, Zhen Yang, Yixing Li, An Wang, Shuai Li, Jinbao Xue, Yu Cheng, Yangyu Tao, Zhanhui Kang, Chengzhong Xu, Di Wang, Jie Jiang

cs.AI

Аннотация

Обучение с низкой точностью считается эффективной стратегией для снижения как затрат на обучение, так и затрат на вывод на следующем этапе. Предыдущие законы масштабирования для точности в основном сосредотачиваются на целочисленной квантизации, которая меньше обращает внимания на составляющие в квантизации с плавающей запятой и поэтому не могут хорошо соответствовать потерям в LLM в этом сценарии. В отличие от этого, хотя обучение с квантизацией с плавающей запятой чаще всего реализуется в производстве, исследования по этому вопросу были относительно поверхностными. В данной статье мы тщательно исследуем влияние целей квантизации с плавающей запятой, битов показателя, битов мантиссы и гранулярности вычисления коэффициента масштабирования на производительность обучения моделей LLM с квантизацией с плавающей запятой. Представляя точный единый закон масштабирования для квантизации с плавающей запятой, мы также предлагаем ценные рекомендации для сообщества: (1) Биты показателя вносят незначительно больший вклад в производительность модели, чем биты мантиссы. Мы предоставляем оптимальное соотношение битов показателя-мантиссы для различного количества битов, которое доступно для будущего использования производителями аппаратного обеспечения; (2) Мы обнаруживаем формирование критического размера данных при обучении LLM с низкой точностью. Слишком много обучающих данных, превышающих критический размер данных, приведет к обратному ухудшению производительности LLM; (3) Оптимальная точность квантизации с плавающей запятой прямо пропорциональна вычислительной мощности, но в широком диапазоне вычислительной мощности мы оцениваем, что лучшая точность с точки зрения соотношения стоимости и производительности находится между 4 и 8 битами.

English

Low-precision training is considered an effective strategy for reducing both training and downstream inference costs. Previous scaling laws for precision mainly focus on integer quantization, which pay less attention to the constituents in floating-point quantization and thus cannot well fit the LLM losses in this scenario. In contrast, while floating-point quantization training is more commonly implemented in production, the research on it has been relatively superficial. In this paper, we thoroughly explore the effects of floating-point quantization targets, exponent bits, mantissa bits, and the calculation granularity of the scaling factor in floating-point quantization training performance of LLM models. While presenting an accurate floating-point quantization unified scaling law, we also provide valuable suggestions for the community: (1) Exponent bits contribute slightly more to the model performance than mantissa bits. We provide the optimal exponent-mantissa bit ratio for different bit numbers, which is available for future reference by hardware manufacturers; (2) We discover the formation of the critical data size in low-precision LLM training. Too much training data exceeding the critical data size will inversely bring in degradation of LLM performance; (3) The optimal floating-point quantization precision is directly proportional to the computational power, but within a wide computational power range, we estimate that the best cost-performance precision lies between 4-8 bits.