Otimização do Treinamento de Modelos de Linguagem Grandes Utilizando Quantização FP4

Optimizing Large Language Model Training Using FP4 Quantization

January 28, 2025

Autores: Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng Cheng

cs.AI

Resumo

As crescentes demandas computacionais para treinar grandes modelos de linguagem (LLMs) exigem métodos mais eficientes. O treinamento quantizado apresenta uma solução promissora ao permitir operações aritméticas de baixo bit para reduzir esses custos. Embora a precisão FP8 tenha demonstrado viabilidade, aproveitar o FP4 ainda é um desafio devido a erros significativos de quantização e capacidade representacional limitada. Este trabalho apresenta o primeiro framework de treinamento FP4 para LLMs, abordando esses desafios com duas inovações-chave: um estimador de quantização diferenciável para atualizações precisas de pesos e uma estratégia de fixação e compensação de outliers para evitar a redução de ativação. Para garantir estabilidade, o framework integra um esquema de treinamento de precisão mista e quantização por vetor. Resultados experimentais demonstram que nosso framework FP4 alcança precisão comparável a BF16 e FP8, com degradação mínima, escalando efetivamente para LLMs de 13 bilhões de parâmetros treinados com até 100 bilhões de tokens. Com o surgimento de hardware de próxima geração que suporta FP4, nosso framework estabelece uma base para treinamento eficiente de ultra baixa precisão.

English

The growing computational demands of training large language models (LLMs) necessitate more efficient methods. Quantized training presents a promising solution by enabling low-bit arithmetic operations to reduce these costs. While FP8 precision has demonstrated feasibility, leveraging FP4 remains a challenge due to significant quantization errors and limited representational capacity. This work introduces the first FP4 training framework for LLMs, addressing these challenges with two key innovations: a differentiable quantization estimator for precise weight updates and an outlier clamping and compensation strategy to prevent activation collapse. To ensure stability, the framework integrates a mixed-precision training scheme and vector-wise quantization. Experimental results demonstrate that our FP4 framework achieves accuracy comparable to BF16 and FP8, with minimal degradation, scaling effectively to 13B-parameter LLMs trained on up to 100B tokens. With the emergence of next-generation hardware supporting FP4, our framework sets a foundation for efficient ultra-low precision training.