Trainingsdynamik beeinflusst die Robustheit der Post-Training-Quantisierung

Training Dynamics Impact Post-Training Quantization Robustness

October 7, 2025

papers.authors: Albert Catalan-Tatjer, Niccolò Ajroldi, Jonas Geiping

cs.AI

papers.abstract

Während Post-Training-Quantisierung weit verbreitet für die effiziente Bereitstellung großer Sprachmodelle eingesetzt wird, bleiben die Mechanismen, die der Quantisierungsrobustheit zugrunde liegen, unklar. Wir führen eine umfassende Analyse der Quantisierungsdegradation entlang der Trainingsverläufe von Open-Source-Sprachmodellen mit bis zu 32B Parametern und 15T Trainings-Tokens durch, um die Beziehung zwischen Trainingsdynamik und Quantisierungsleistung präzise zu bewerten. Unsere zentrale Erkenntnis ist, dass Quantisierungsfehler in groß angelegten Trainingsläufen durch ein komplexes Zusammenspiel zwischen Lernrate und anderen Trainingshyperparametern verursacht werden. Insbesondere divergieren Validierungsverlust und Quantisierungsfehler, sobald die Lernraten abnehmen, weitgehend unabhängig vom Umfang der Trainingsdaten. Um Eingriffe in die Trainingsdynamik zu untersuchen und spezifische Konfigurationen zu identifizieren, die die Quantisierungsrobustheit günstig beeinflussen können, trainieren wir eigene Modelle in kontrollierten Experimenten mit bis zu 100B Tokens. Unsere Ergebnisse widerlegen die Annahme, dass eine Erhöhung des Datensatzumfangs zwangsläufig die Effektivität der Quantisierung beeinträchtigt, und zeigen stattdessen, dass strategische Eingriffe in die Trainingshyperparameter die Quantisierungsqualität im großen Maßstab verbessern können.

English

While post-training quantization is widely adopted for efficient deployment of large language models, the mechanisms underlying quantization robustness remain unclear. We conduct a comprehensive analysis of quantization degradation across open-source language model training trajectories up to 32B parameters and 15T training tokens to accurately assess the relationship between training dynamics and quantization performance. Our key finding is that quantization errors in large-scale training runs are driven by a complex interplay between learning rate and other training hyperparameters. Specifically, once learning rates decay, validation loss and quantization error diverge, largely independent of training data scale. To investigate interventions on the training dynamics and identify specific configurations that can modulate quantization robustness favorably, we train our own models in controlled experiments up to 100B tokens. Our results challenge the assumption that increasing dataset scale inherently compromises quantization effectiveness, demonstrating instead that strategic training hyperparameter interventions can improve quantization quality at scale.