ZClip: Mitigación Adaptativa de Picos para el Preentrenamiento de Modelos de Lenguaje de Gran Escala

ZClip: Adaptive Spike Mitigation for LLM Pre-Training

April 3, 2025

Autores: Abhay Kumar, Louis Owen, Nilabhra Roy Chowdhury, Fabian Güra

cs.AI

Resumen

El entrenamiento de modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) presenta numerosos desafíos, incluyendo inestabilidad en los gradientes y picos en la pérdida. Estos fenómenos pueden llevar a una divergencia catastrófica, lo que requiere la restauración costosa de puntos de control y la omisión de lotes de datos. Las técnicas tradicionales de recorte de gradientes, como los métodos basados en constantes o normas, no abordan estos problemas de manera efectiva debido a su dependencia de umbrales fijos o heurísticas, lo que resulta en un aprendizaje ineficiente y requiere intervención manual frecuente. En este trabajo, proponemos ZClip, un algoritmo de recorte de gradientes adaptativo que ajusta dinámicamente el umbral de recorte basándose en propiedades estadísticas de las normas de los gradientes a lo largo del tiempo. A diferencia de estrategias reactivas previas, ZClip se adapta proactivamente a las dinámicas del entrenamiento sin hacer suposiciones previas sobre la escala y la evolución temporal de las normas de los gradientes. En esencia, aprovecha la detección de anomalías basada en puntuaciones z para identificar y mitigar grandes picos en los gradientes, previniendo picos malignos en la pérdida sin interferir con la convergencia en otros casos. Nuestro código está disponible en: https://github.com/bluorion-com/ZClip.

English

Training large language models (LLMs) presents numerous challenges, including gradient instability and loss spikes. These phenomena can lead to catastrophic divergence, requiring costly checkpoint restoration and data batch skipping. Traditional gradient clipping techniques, such as constant or norm-based methods, fail to address these issues effectively due to their reliance on fixed thresholds or heuristics, leading to inefficient learning and requiring frequent manual intervention. In this work, we propose ZClip, an adaptive gradient clipping algorithm that dynamically adjusts the clipping threshold based on statistical properties of gradient norms over time. Unlike prior reactive strategies, ZClip proactively adapts to training dynamics without making any prior assumptions on the scale and the temporal evolution of gradient norms. At its core, it leverages z-score-based anomaly detection to identify and mitigate large gradient spikes, preventing malignant loss spikes while not interfering with convergence otherwise. Our code is available at: https://github.com/bluorion-com/ZClip.