Optimización del Entrenamiento de Modelos de Lenguaje Grandes Utilizando Cuantificación FP4

Optimizing Large Language Model Training Using FP4 Quantization

January 28, 2025

Autores: Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng Cheng

cs.AI

Resumen

El creciente aumento de las demandas computacionales para entrenar modelos de lenguaje grandes (LLMs) requiere métodos más eficientes. El entrenamiento cuantizado presenta una solución prometedora al permitir operaciones aritméticas de baja precisión para reducir estos costos. Si bien la precisión FP8 ha demostrado ser factible, aprovechar FP4 sigue siendo un desafío debido a errores significativos de cuantización y capacidad representativa limitada. Este trabajo introduce el primer marco de entrenamiento FP4 para LLMs, abordando estos desafíos con dos innovaciones clave: un estimador de cuantización diferenciable para actualizaciones precisas de pesos y una estrategia de sujeción y compensación de valores atípicos para evitar el colapso de activaciones. Para garantizar la estabilidad, el marco integra un esquema de entrenamiento de precisión mixta y cuantización por vector. Los resultados experimentales demuestran que nuestro marco FP4 logra una precisión comparable a BF16 y FP8, con una degradación mínima, escalando eficazmente a LLMs de 13B parámetros entrenados con hasta 100B tokens. Con la aparición de hardware de próxima generación que soporta FP4, nuestro marco sienta las bases para un entrenamiento eficiente de ultra baja precisión.

English

The growing computational demands of training large language models (LLMs) necessitate more efficient methods. Quantized training presents a promising solution by enabling low-bit arithmetic operations to reduce these costs. While FP8 precision has demonstrated feasibility, leveraging FP4 remains a challenge due to significant quantization errors and limited representational capacity. This work introduces the first FP4 training framework for LLMs, addressing these challenges with two key innovations: a differentiable quantization estimator for precise weight updates and an outlier clamping and compensation strategy to prevent activation collapse. To ensure stability, the framework integrates a mixed-precision training scheme and vector-wise quantization. Experimental results demonstrate that our FP4 framework achieves accuracy comparable to BF16 and FP8, with minimal degradation, scaling effectively to 13B-parameter LLMs trained on up to 100B tokens. With the emergence of next-generation hardware supporting FP4, our framework sets a foundation for efficient ultra-low precision training.