ZClip: Mitigação Adaptativa de Picos para Pré-Treinamento de LLMs

ZClip: Adaptive Spike Mitigation for LLM Pre-Training

April 3, 2025

Autores: Abhay Kumar, Louis Owen, Nilabhra Roy Chowdhury, Fabian Güra

cs.AI

Resumo

O treinamento de grandes modelos de linguagem (LLMs) apresenta inúmeros desafios, incluindo instabilidade de gradientes e picos de perda. Esses fenômenos podem levar a uma divergência catastrófica, exigindo a restauração dispendiosa de checkpoints e o descarte de lotes de dados. Técnicas tradicionais de recorte de gradiente, como métodos baseados em constantes ou normas, falham em resolver esses problemas de forma eficaz devido à sua dependência de limiares fixos ou heurísticas, resultando em aprendizado ineficiente e exigindo intervenção manual frequente. Neste trabalho, propomos o ZClip, um algoritmo de recorte de gradiente adaptativo que ajusta dinamicamente o limiar de recorte com base nas propriedades estatísticas das normas de gradiente ao longo do tempo. Diferente de estratégias reativas anteriores, o ZClip se adapta proativamente às dinâmicas de treinamento sem fazer suposições prévias sobre a escala e a evolução temporal das normas de gradiente. Em sua essência, ele utiliza detecção de anomalias baseada em z-score para identificar e mitigar grandes picos de gradiente, prevenindo picos malignos de perda sem interferir na convergência em outros casos. Nosso código está disponível em: https://github.com/bluorion-com/ZClip.

English

Training large language models (LLMs) presents numerous challenges, including gradient instability and loss spikes. These phenomena can lead to catastrophic divergence, requiring costly checkpoint restoration and data batch skipping. Traditional gradient clipping techniques, such as constant or norm-based methods, fail to address these issues effectively due to their reliance on fixed thresholds or heuristics, leading to inefficient learning and requiring frequent manual intervention. In this work, we propose ZClip, an adaptive gradient clipping algorithm that dynamically adjusts the clipping threshold based on statistical properties of gradient norms over time. Unlike prior reactive strategies, ZClip proactively adapts to training dynamics without making any prior assumptions on the scale and the temporal evolution of gradient norms. At its core, it leverages z-score-based anomaly detection to identify and mitigate large gradient spikes, preventing malignant loss spikes while not interfering with convergence otherwise. Our code is available at: https://github.com/bluorion-com/ZClip.