ZClip: Адаптивное смягчение выбросов для предварительного обучения больших языковых моделей

ZClip: Adaptive Spike Mitigation for LLM Pre-Training

April 3, 2025

Авторы: Abhay Kumar, Louis Owen, Nilabhra Roy Chowdhury, Fabian Güra

cs.AI

Аннотация

Обучение больших языковых моделей (LLM) сопряжено с многочисленными трудностями, включая нестабильность градиентов и скачки потерь. Эти явления могут привести к катастрофической дивергенции, что потребует дорогостоящего восстановления контрольных точек и пропуска пакетов данных. Традиционные методы ограничения градиентов, такие как постоянные или основанные на норме подходы, неэффективно решают эти проблемы из-за их зависимости от фиксированных порогов или эвристик, что приводит к неэффективному обучению и частому ручному вмешательству. В данной работе мы предлагаем ZClip — адаптивный алгоритм ограничения градиентов, который динамически регулирует порог ограничения на основе статистических свойств норм градиентов с течением времени. В отличие от предыдущих реактивных стратегий, ZClip активно адаптируется к динамике обучения, не делая никаких предварительных предположений о масштабе и временной эволюции норм градиентов. В основе алгоритма лежит использование z-оценки для обнаружения аномалий, что позволяет выявлять и смягчать крупные скачки градиентов, предотвращая вредоносные скачки потерь, не нарушая при этом сходимости в остальных случаях. Наш код доступен по адресу: https://github.com/bluorion-com/ZClip.

English

Training large language models (LLMs) presents numerous challenges, including gradient instability and loss spikes. These phenomena can lead to catastrophic divergence, requiring costly checkpoint restoration and data batch skipping. Traditional gradient clipping techniques, such as constant or norm-based methods, fail to address these issues effectively due to their reliance on fixed thresholds or heuristics, leading to inefficient learning and requiring frequent manual intervention. In this work, we propose ZClip, an adaptive gradient clipping algorithm that dynamically adjusts the clipping threshold based on statistical properties of gradient norms over time. Unlike prior reactive strategies, ZClip proactively adapts to training dynamics without making any prior assumptions on the scale and the temporal evolution of gradient norms. At its core, it leverages z-score-based anomaly detection to identify and mitigate large gradient spikes, preventing malignant loss spikes while not interfering with convergence otherwise. Our code is available at: https://github.com/bluorion-com/ZClip.