Trainingsdynamiek beïnvloedt robuustheid van post-trainingskwantisering

Training Dynamics Impact Post-Training Quantization Robustness

October 7, 2025

Auteurs: Albert Catalan-Tatjer, Niccolò Ajroldi, Jonas Geiping

cs.AI

Samenvatting

Hoewel post-trainingskwantisering veel wordt gebruikt voor de efficiënte implementatie van grote taalmodelen, blijven de onderliggende mechanismen van kwantisatierobustheid onduidelijk. Wij voeren een uitgebreide analyse uit van kwantisatiedegradatie over trainingspaden van open-source taalmodelen tot 32B parameters en 15T trainings-tokens om de relatie tussen trainingsdynamiek en kwantisatieprestaties nauwkeurig te beoordelen. Onze belangrijkste bevinding is dat kwantisatiefouten in grootschalige trainingsruns worden veroorzaakt door een complexe wisselwerking tussen leerratio en andere trainingshyperparameters. Specifiek, zodra leerratio's afnemen, divergeren validatieverlies en kwantisatiefout, grotendeels onafhankelijk van de schaal van de trainingsdata. Om interventies op de trainingsdynamiek te onderzoeken en specifieke configuraties te identificeren die kwantisatierobustheid gunstig kunnen beïnvloeden, trainen we onze eigen modellen in gecontroleerde experimenten tot 100B tokens. Onze resultaten tarten de aanname dat het vergroten van de datasetschaal inherent de effectiviteit van kwantisatie in gevaar brengt, en laten in plaats daarvan zien dat strategische interventies in trainingshyperparameters de kwantisatiekwaliteit op grote schaal kunnen verbeteren.

English

While post-training quantization is widely adopted for efficient deployment of large language models, the mechanisms underlying quantization robustness remain unclear. We conduct a comprehensive analysis of quantization degradation across open-source language model training trajectories up to 32B parameters and 15T training tokens to accurately assess the relationship between training dynamics and quantization performance. Our key finding is that quantization errors in large-scale training runs are driven by a complex interplay between learning rate and other training hyperparameters. Specifically, once learning rates decay, validation loss and quantization error diverge, largely independent of training data scale. To investigate interventions on the training dynamics and identify specific configurations that can modulate quantization robustness favorably, we train our own models in controlled experiments up to 100B tokens. Our results challenge the assumption that increasing dataset scale inherently compromises quantization effectiveness, demonstrating instead that strategic training hyperparameter interventions can improve quantization quality at scale.