La Dinamica di Addestramento Influenza la Robustezza della Quantizzazione Post-Addestramento

Training Dynamics Impact Post-Training Quantization Robustness

October 7, 2025

Autori: Albert Catalan-Tatjer, Niccolò Ajroldi, Jonas Geiping

cs.AI

Abstract

Mentre la quantizzazione post-addestramento è ampiamente adottata per il dispiegamento efficiente di modelli linguistici di grandi dimensioni, i meccanismi alla base della robustezza alla quantizzazione rimangono poco chiari. Abbiamo condotto un'analisi completa del degrado della quantizzazione lungo le traiettorie di addestramento di modelli linguistici open-source fino a 32 miliardi di parametri e 15 trilioni di token di addestramento, al fine di valutare con precisione la relazione tra dinamiche di addestramento e prestazioni di quantizzazione. La nostra scoperta principale è che gli errori di quantizzazione negli addestramenti su larga scala sono guidati da una complessa interazione tra tasso di apprendimento e altri iperparametri di addestramento. In particolare, una volta che i tassi di apprendimento decadono, la perdita di validazione e l'errore di quantizzazione divergono, in gran parte indipendentemente dalla scala dei dati di addestramento. Per investigare interventi sulle dinamiche di addestramento e identificare configurazioni specifiche che possano modulare favorevolmente la robustezza alla quantizzazione, abbiamo addestrato i nostri modelli in esperimenti controllati fino a 100 miliardi di token. I nostri risultati sfidano l'assunzione che l'aumento della scala del dataset comprometta intrinsecamente l'efficacia della quantizzazione, dimostrando invece che interventi strategici sugli iperparametri di addestramento possono migliorare la qualità della quantizzazione su larga scala.

English

While post-training quantization is widely adopted for efficient deployment of large language models, the mechanisms underlying quantization robustness remain unclear. We conduct a comprehensive analysis of quantization degradation across open-source language model training trajectories up to 32B parameters and 15T training tokens to accurately assess the relationship between training dynamics and quantization performance. Our key finding is that quantization errors in large-scale training runs are driven by a complex interplay between learning rate and other training hyperparameters. Specifically, once learning rates decay, validation loss and quantization error diverge, largely independent of training data scale. To investigate interventions on the training dynamics and identify specific configurations that can modulate quantization robustness favorably, we train our own models in controlled experiments up to 100B tokens. Our results challenge the assumption that increasing dataset scale inherently compromises quantization effectiveness, demonstrating instead that strategic training hyperparameter interventions can improve quantization quality at scale.