Metis: Entrenamiento de Modelos de Lenguaje de Gran Escala con Cuantización Avanzada de Bajo Bit

Resumen

Este trabajo identifica las distribuciones de parámetros anisotrópicas como una barrera fundamental para entrenar modelos de lenguaje de gran escala (LLMs) con cuantización de bajo bit: unos pocos valores singulares dominantes crean rangos numéricos amplios que entran en conflicto con el sesgo inherente de la cuantización por bloques. Este sesgo preserva de manera desproporcionada valores de magnitud alta mientras descarta los más pequeños, causando inestabilidad en el entrenamiento y un bajo rendimiento del modelo. Este trabajo introduce Metis, un marco de entrenamiento que combina (i) descomposición espectral con incrustación aleatoria para separar eficientemente los componentes dominantes de los de cola larga, comprimiendo distribuciones amplias en rangos estrechos compatibles con la cuantización; (ii) tasas de aprendizaje adaptativas en el dominio espectral para amplificar direcciones subrepresentadas y capturar mejor características diversas críticas para el rendimiento; y (iii) un regularizador de doble rango que restringe conjuntamente la precisión numérica y la distribución del rango de parámetros, asegurando un entrenamiento de bajo bit estable y sin sesgos. Con Metis, el entrenamiento en FP8 supera las líneas base de FP32, y el entrenamiento en FP4 alcanza una precisión comparable a FP32, allanando el camino para un entrenamiento robusto y escalable de LLMs bajo cuantización avanzada de bajo bit. La implementación del código para Metis está disponible en: https://github.com/typename-yyf/Metis-quantization.

English

This work identifies anisotropic parameter distributions as a fundamental barrier to training large language models (LLMs) with low-bit quantization: a few dominant singular values create wide numerical ranges that conflict with the inherent bias of block-wise quantization. This bias disproportionately preserves high-magnitude values while discarding smaller ones, causing training instability and low model performance. This work introduces Metis, a training framework that combines (i) spectral decomposition with random embedding to efficiently disentangle dominant from long-tail components, compressing broad distributions into quantization-friendly narrow ranges; (ii) adaptive learning rates in the spectral domain to amplify underrepresented directions and better capture diverse features critical for performance; and (iii) a dual-range regularizer that jointly constrains numerical precision and parameter range distribution, ensuring stable, unbiased low-bit training. With Metis, FP8 training surpasses FP32 baselines, and FP4 training achieves accuracy comparable to FP32, paving the way for robust and scalable LLM training under advanced low-bit quantization. The code implementation for Metis is available at: https://github.com/typename-yyf/Metis-quantization.

Metis: Entrenamiento de Modelos de Lenguaje de Gran Escala con Cuantización Avanzada de Bajo Bit

Metis: Training Large Language Models with Advanced Low-Bit Quantization

Resumen

Support