Оптимизация обучения больших языковых моделей с использованием квантования FP4.

Optimizing Large Language Model Training Using FP4 Quantization

January 28, 2025

Авторы: Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng Cheng

cs.AI

Аннотация

Растущие вычислительные требования к обучению больших языковых моделей (LLM) требуют более эффективных методов. Квантованное обучение представляет собой многообещающее решение, позволяющее использовать арифметические операции с низким битовым разрешением для снижения затрат. Хотя точность FP8 продемонстрировала свою осуществимость, использование FP4 остается вызовом из-за значительных ошибок квантования и ограниченной емкости представления. В данной работе представлена первая среда обучения FP4 для LLM, решающая эти проблемы с помощью двух ключевых инноваций: дифференцируемого оценщика квантования для точных обновлений весов и стратегии зажима и компенсации выбросов для предотвращения коллапса активации. Для обеспечения стабильности среда интегрирует схему обучения смешанной точности и квантование по векторам. Экспериментальные результаты показывают, что наша среда FP4 достигает точности, сравнимой с BF16 и FP8, с минимальным ухудшением, эффективно масштабируется до LLM с 13 млрд параметров, обученных на до 100 млрд токенов. С появлением нового поколения аппаратного обеспечения, поддерживающего FP4, наша среда заложит основу для эффективного обучения с ультранизкой точностью.

English

The growing computational demands of training large language models (LLMs) necessitate more efficient methods. Quantized training presents a promising solution by enabling low-bit arithmetic operations to reduce these costs. While FP8 precision has demonstrated feasibility, leveraging FP4 remains a challenge due to significant quantization errors and limited representational capacity. This work introduces the first FP4 training framework for LLMs, addressing these challenges with two key innovations: a differentiable quantization estimator for precise weight updates and an outlier clamping and compensation strategy to prevent activation collapse. To ensure stability, the framework integrates a mixed-precision training scheme and vector-wise quantization. Experimental results demonstrate that our FP4 framework achieves accuracy comparable to BF16 and FP8, with minimal degradation, scaling effectively to 13B-parameter LLMs trained on up to 100B tokens. With the emergence of next-generation hardware supporting FP4, our framework sets a foundation for efficient ultra-low precision training.