ZClip : Atténuation adaptative des pics pour le pré-entraînement des grands modèles de langage

ZClip: Adaptive Spike Mitigation for LLM Pre-Training

April 3, 2025

Auteurs: Abhay Kumar, Louis Owen, Nilabhra Roy Chowdhury, Fabian Güra

cs.AI

Résumé

L'entraînement de grands modèles de langage (LLMs) présente de nombreux défis, notamment l'instabilité des gradients et les pics de perte. Ces phénomènes peuvent entraîner une divergence catastrophique, nécessitant une restauration coûteuse des points de contrôle et un saut de lots de données. Les techniques traditionnelles de seuillage des gradients, telles que les méthodes constantes ou basées sur la norme, échouent à résoudre efficacement ces problèmes en raison de leur dépendance à des seuils fixes ou à des heuristiques, conduisant à un apprentissage inefficace et nécessitant des interventions manuelles fréquentes. Dans ce travail, nous proposons ZClip, un algorithme de seuillage adaptatif des gradients qui ajuste dynamiquement le seuil de seuillage en fonction des propriétés statistiques des normes de gradients au fil du temps. Contrairement aux stratégies réactives précédentes, ZClip s'adapte de manière proactive à la dynamique de l'entraînement sans faire d'hypothèses préalables sur l'échelle et l'évolution temporelle des normes de gradients. Au cœur de son fonctionnement, il utilise une détection d'anomalies basée sur le score z pour identifier et atténuer les pics de gradients importants, empêchant ainsi les pics de perte malins sans perturber la convergence par ailleurs. Notre code est disponible à l'adresse : https://github.com/bluorion-com/ZClip.

English

Training large language models (LLMs) presents numerous challenges, including gradient instability and loss spikes. These phenomena can lead to catastrophic divergence, requiring costly checkpoint restoration and data batch skipping. Traditional gradient clipping techniques, such as constant or norm-based methods, fail to address these issues effectively due to their reliance on fixed thresholds or heuristics, leading to inefficient learning and requiring frequent manual intervention. In this work, we propose ZClip, an adaptive gradient clipping algorithm that dynamically adjusts the clipping threshold based on statistical properties of gradient norms over time. Unlike prior reactive strategies, ZClip proactively adapts to training dynamics without making any prior assumptions on the scale and the temporal evolution of gradient norms. At its core, it leverages z-score-based anomaly detection to identify and mitigate large gradient spikes, preventing malignant loss spikes while not interfering with convergence otherwise. Our code is available at: https://github.com/bluorion-com/ZClip.