Metis : Entraînement de grands modèles de langage avec une quantification avancée en basse précision

papers.abstract

Ce travail identifie les distributions de paramètres anisotropes comme une barrière fondamentale à l'entraînement de grands modèles de langage (LLMs) avec une quantification en faible précision : quelques valeurs singulières dominantes créent des plages numériques larges qui entrent en conflit avec le biais inhérent de la quantification par blocs. Ce biais préserve de manière disproportionnée les valeurs de grande amplitude tout en éliminant les plus petites, provoquant une instabilité lors de l'entraînement et une faible performance du modèle. Ce travail introduit Metis, un cadre d'entraînement qui combine (i) la décomposition spectrale avec un embedding aléatoire pour séparer efficacement les composantes dominantes des composantes de longue traîne, compressant ainsi les distributions larges en plages étroites compatibles avec la quantification ; (ii) des taux d'apprentissage adaptatifs dans le domaine spectral pour amplifier les directions sous-représentées et mieux capturer les caractéristiques diverses essentielles à la performance ; et (iii) un régulariseur à double plage qui contraint conjointement la précision numérique et la distribution des plages de paramètres, assurant un entraînement en faible précision stable et non biaisé. Avec Metis, l'entraînement en FP8 surpasse les références en FP32, et l'entraînement en FP4 atteint une précision comparable à celle du FP32, ouvrant la voie à un entraînement robuste et évolutif des LLMs sous une quantification avancée en faible précision. L'implémentation du code pour Metis est disponible à l'adresse : https://github.com/typename-yyf/Metis-quantization.

English

This work identifies anisotropic parameter distributions as a fundamental barrier to training large language models (LLMs) with low-bit quantization: a few dominant singular values create wide numerical ranges that conflict with the inherent bias of block-wise quantization. This bias disproportionately preserves high-magnitude values while discarding smaller ones, causing training instability and low model performance. This work introduces Metis, a training framework that combines (i) spectral decomposition with random embedding to efficiently disentangle dominant from long-tail components, compressing broad distributions into quantization-friendly narrow ranges; (ii) adaptive learning rates in the spectral domain to amplify underrepresented directions and better capture diverse features critical for performance; and (iii) a dual-range regularizer that jointly constrains numerical precision and parameter range distribution, ensuring stable, unbiased low-bit training. With Metis, FP8 training surpasses FP32 baselines, and FP4 training achieves accuracy comparable to FP32, paving the way for robust and scalable LLM training under advanced low-bit quantization. The code implementation for Metis is available at: https://github.com/typename-yyf/Metis-quantization.

Metis : Entraînement de grands modèles de langage avec une quantification avancée en basse précision

Metis: Training Large Language Models with Advanced Low-Bit Quantization

papers.abstract

Support