La Dynamique de l'Entraînement Influence la Robustesse de la Quantisation Post-Entraînement

Training Dynamics Impact Post-Training Quantization Robustness

October 7, 2025

papers.authors: Albert Catalan-Tatjer, Niccolò Ajroldi, Jonas Geiping

cs.AI

papers.abstract

Bien que la quantification post-entraînement soit largement adoptée pour le déploiement efficace des grands modèles de langage, les mécanismes sous-jacents à la robustesse de la quantification restent mal compris. Nous menons une analyse approfondie de la dégradation due à la quantification à travers les trajectoires d'entraînement de modèles de langage open-source allant jusqu'à 32 milliards de paramètres et 15 000 milliards de tokens d'entraînement, afin d'évaluer avec précision la relation entre les dynamiques d'entraînement et les performances de quantification. Notre découverte principale est que les erreurs de quantification dans les entraînements à grande échelle sont influencées par une interaction complexe entre le taux d'apprentissage et d'autres hyperparamètres d'entraînement. Plus précisément, une fois que les taux d'apprentissage décroissent, la perte de validation et l'erreur de quantification divergent, largement indépendamment de l'échelle des données d'entraînement. Pour étudier les interventions sur les dynamiques d'entraînement et identifier des configurations spécifiques pouvant moduler favorablement la robustesse de la quantification, nous entraînons nos propres modèles dans des expériences contrôlées jusqu'à 100 milliards de tokens. Nos résultats remettent en question l'hypothèse selon laquelle l'augmentation de l'échelle des données compromet intrinsèquement l'efficacité de la quantification, démontrant plutôt que des interventions stratégiques sur les hyperparamètres d'entraînement peuvent améliorer la qualité de la quantification à grande échelle.

English

While post-training quantization is widely adopted for efficient deployment of large language models, the mechanisms underlying quantization robustness remain unclear. We conduct a comprehensive analysis of quantization degradation across open-source language model training trajectories up to 32B parameters and 15T training tokens to accurately assess the relationship between training dynamics and quantization performance. Our key finding is that quantization errors in large-scale training runs are driven by a complex interplay between learning rate and other training hyperparameters. Specifically, once learning rates decay, validation loss and quantization error diverge, largely independent of training data scale. To investigate interventions on the training dynamics and identify specific configurations that can modulate quantization robustness favorably, we train our own models in controlled experiments up to 100B tokens. Our results challenge the assumption that increasing dataset scale inherently compromises quantization effectiveness, demonstrating instead that strategic training hyperparameter interventions can improve quantization quality at scale.