Влияние динамики обучения на устойчивость к посттренировочной квантизации

Training Dynamics Impact Post-Training Quantization Robustness

October 7, 2025

Авторы: Albert Catalan-Tatjer, Niccolò Ajroldi, Jonas Geiping

cs.AI

Аннотация

Хотя посттренировочная квантизация широко применяется для эффективного развертывания крупных языковых моделей, механизмы, лежащие в основе устойчивости к квантизации, остаются неясными. Мы проводим всесторонний анализ деградации квантизации на траекториях обучения открытых языковых моделей с параметрами до 32 миллиардов и 15 триллионов токенов обучения, чтобы точно оценить взаимосвязь между динамикой обучения и производительностью квантизации. Наше ключевое открытие заключается в том, что ошибки квантизации в крупномасштабных тренировках обусловлены сложным взаимодействием между скоростью обучения и другими гиперпараметрами обучения. В частности, как только скорость обучения снижается, валидационная ошибка и ошибка квантизации начинают расходиться, в значительной степени независимо от масштаба обучающих данных. Чтобы исследовать вмешательства в динамику обучения и определить конкретные конфигурации, которые могут благоприятно повлиять на устойчивость к квантизации, мы обучаем собственные модели в контролируемых экспериментах до 100 миллиардов токенов. Наши результаты опровергают предположение о том, что увеличение масштаба набора данных неизбежно ухудшает эффективность квантизации, демонстрируя вместо этого, что стратегические вмешательства в гиперпараметры обучения могут улучшить качество квантизации на больших масштабах.

English

While post-training quantization is widely adopted for efficient deployment of large language models, the mechanisms underlying quantization robustness remain unclear. We conduct a comprehensive analysis of quantization degradation across open-source language model training trajectories up to 32B parameters and 15T training tokens to accurately assess the relationship between training dynamics and quantization performance. Our key finding is that quantization errors in large-scale training runs are driven by a complex interplay between learning rate and other training hyperparameters. Specifically, once learning rates decay, validation loss and quantization error diverge, largely independent of training data scale. To investigate interventions on the training dynamics and identify specific configurations that can modulate quantization robustness favorably, we train our own models in controlled experiments up to 100B tokens. Our results challenge the assumption that increasing dataset scale inherently compromises quantization effectiveness, demonstrating instead that strategic training hyperparameter interventions can improve quantization quality at scale.