Metis: Addestramento di Modelli Linguistici di Grande Scala con Quantizzazione Avanzata a Basso Bit

Abstract

Questo lavoro identifica le distribuzioni anisotropiche dei parametri come una barriera fondamentale all'addestramento di grandi modelli linguistici (LLM) con quantizzazione a basso bit: pochi valori singolari dominanti creano ampi intervalli numerici che entrano in conflitto con il bias intrinseco della quantizzazione a blocchi. Questo bias preserva in modo sproporzionato i valori di magnitudine elevata mentre scarta quelli più piccoli, causando instabilità durante l'addestramento e prestazioni scadenti del modello. Questo lavoro introduce Metis, un framework di addestramento che combina (i) la decomposizione spettrale con l'embedding casuale per separare in modo efficiente le componenti dominanti da quelle a coda lunga, comprimendo ampie distribuzioni in intervalli ristretti adatti alla quantizzazione; (ii) tassi di apprendimento adattivi nel dominio spettrale per amplificare le direzioni sottorappresentate e catturare meglio le caratteristiche diversificate cruciali per le prestazioni; e (iii) un regolarizzatore a doppio intervallo che vincola congiuntamente la precisione numerica e la distribuzione dell'intervallo dei parametri, garantendo un addestramento a basso bit stabile e imparziale. Con Metis, l'addestramento in FP8 supera i benchmark in FP32, e l'addestramento in FP4 raggiunge un'accuratezza paragonabile a quella in FP32, aprendo la strada a un addestramento robusto e scalabile di LLM sotto una quantizzazione avanzata a basso bit. L'implementazione del codice per Metis è disponibile all'indirizzo: https://github.com/typename-yyf/Metis-quantization.

English

This work identifies anisotropic parameter distributions as a fundamental barrier to training large language models (LLMs) with low-bit quantization: a few dominant singular values create wide numerical ranges that conflict with the inherent bias of block-wise quantization. This bias disproportionately preserves high-magnitude values while discarding smaller ones, causing training instability and low model performance. This work introduces Metis, a training framework that combines (i) spectral decomposition with random embedding to efficiently disentangle dominant from long-tail components, compressing broad distributions into quantization-friendly narrow ranges; (ii) adaptive learning rates in the spectral domain to amplify underrepresented directions and better capture diverse features critical for performance; and (iii) a dual-range regularizer that jointly constrains numerical precision and parameter range distribution, ensuring stable, unbiased low-bit training. With Metis, FP8 training surpasses FP32 baselines, and FP4 training achieves accuracy comparable to FP32, paving the way for robust and scalable LLM training under advanced low-bit quantization. The code implementation for Metis is available at: https://github.com/typename-yyf/Metis-quantization.

Metis: Addestramento di Modelli Linguistici di Grande Scala con Quantizzazione Avanzata a Basso Bit

Metis: Training Large Language Models with Advanced Low-Bit Quantization

Abstract

Support