ZClip: Adaptive Spike-Minderung für das Pre-Training von LLMs

ZClip: Adaptive Spike Mitigation for LLM Pre-Training

April 3, 2025

Autoren: Abhay Kumar, Louis Owen, Nilabhra Roy Chowdhury, Fabian Güra

cs.AI

Zusammenfassung

Das Training großer Sprachmodelle (LLMs) birgt zahlreiche Herausforderungen, darunter Gradienteninstabilität und Verlustspitzen. Diese Phänomene können zu katastrophaler Divergenz führen, was kostspielige Wiederherstellungen von Checkpoints und das Überspringen von Datenbatches erforderlich macht. Traditionelle Gradienten-Clipping-Techniken, wie konstante oder normbasierte Methoden, können diese Probleme aufgrund ihrer Abhängigkeit von festen Schwellenwerten oder Heuristiken nicht effektiv lösen, was zu ineffizientem Lernen und häufigen manuellen Eingriffen führt. In dieser Arbeit schlagen wir ZClip vor, einen adaptiven Gradienten-Clipping-Algorithmus, der den Clipping-Schwellenwert dynamisch anhand statistischer Eigenschaften der Gradientennormen über die Zeit anpasst. Im Gegensatz zu früheren reaktiven Strategien passt sich ZClip proaktiv an die Trainingsdynamik an, ohne vorherige Annahmen über die Skalierung und die zeitliche Entwicklung der Gradientennormen zu treffen. Im Kern nutzt es z-Score-basierte Anomalieerkennung, um große Gradientenspitzen zu identifizieren und zu mildern, wodurch schädliche Verlustspitzen verhindert werden, ohne die Konvergenz anderweitig zu beeinträchtigen. Unser Code ist verfügbar unter: https://github.com/bluorion-com/ZClip.

English

Training large language models (LLMs) presents numerous challenges, including gradient instability and loss spikes. These phenomena can lead to catastrophic divergence, requiring costly checkpoint restoration and data batch skipping. Traditional gradient clipping techniques, such as constant or norm-based methods, fail to address these issues effectively due to their reliance on fixed thresholds or heuristics, leading to inefficient learning and requiring frequent manual intervention. In this work, we propose ZClip, an adaptive gradient clipping algorithm that dynamically adjusts the clipping threshold based on statistical properties of gradient norms over time. Unlike prior reactive strategies, ZClip proactively adapts to training dynamics without making any prior assumptions on the scale and the temporal evolution of gradient norms. At its core, it leverages z-score-based anomaly detection to identify and mitigate large gradient spikes, preventing malignant loss spikes while not interfering with convergence otherwise. Our code is available at: https://github.com/bluorion-com/ZClip.