Ottimizzazione dell'addestramento di modelli di linguaggio di grandi dimensioni utilizzando la quantizzazione FP4.

Optimizing Large Language Model Training Using FP4 Quantization

January 28, 2025

Autori: Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng Cheng

cs.AI

Abstract

Le crescenti esigenze computazionali per addestrare grandi modelli linguistici (LLM) richiedono metodi più efficienti. L'addestramento quantizzato rappresenta una soluzione promettente consentendo operazioni aritmetiche a basso bit per ridurre questi costi. Sebbene la precisione FP8 abbia dimostrato la fattibilità, sfruttare l'FP4 rimane una sfida a causa di significativi errori di quantizzazione e limitata capacità rappresentativa. Questo lavoro introduce il primo framework di addestramento FP4 per LLM, affrontando tali sfide con due innovazioni chiave: un estimatore di quantizzazione differenziabile per precisi aggiornamenti dei pesi e una strategia di bloccaggio e compensazione degli outlier per prevenire il collasso delle attivazioni. Per garantire la stabilità, il framework integra uno schema di addestramento a precisione mista e una quantizzazione vettoriale. I risultati sperimentali dimostrano che il nostro framework FP4 raggiunge un'accuratezza paragonabile a BF16 e FP8, con una degradazione minima, scalando efficacemente fino a LLM da 13 miliardi di parametri addestrati su fino a 100 miliardi di token. Con l'emergere di hardware di prossima generazione che supporta FP4, il nostro framework getta le basi per un efficiente addestramento ad ultra-bassa precisione.

English

The growing computational demands of training large language models (LLMs) necessitate more efficient methods. Quantized training presents a promising solution by enabling low-bit arithmetic operations to reduce these costs. While FP8 precision has demonstrated feasibility, leveraging FP4 remains a challenge due to significant quantization errors and limited representational capacity. This work introduces the first FP4 training framework for LLMs, addressing these challenges with two key innovations: a differentiable quantization estimator for precise weight updates and an outlier clamping and compensation strategy to prevent activation collapse. To ensure stability, the framework integrates a mixed-precision training scheme and vector-wise quantization. Experimental results demonstrate that our FP4 framework achieves accuracy comparable to BF16 and FP8, with minimal degradation, scaling effectively to 13B-parameter LLMs trained on up to 100B tokens. With the emergence of next-generation hardware supporting FP4, our framework sets a foundation for efficient ultra-low precision training.