GPAS: Versnelling van convergentie bij LLM-voorafgaande training via gradiëntbehoudende activatieschaling

Samenvatting

Moderne Large Language Models, zoals de LLaMA, Qwen en DeepSeek series, adopteren voornamelijk de Pre-LayerNorm (Pre-LN) Transformer-architectuur. Hoewel deze architectuur stabiel is tijdens het vooraf trainen en schaalbaar is naar grote modelgroottes, heeft Pre-LN last van een exponentiële groei in activatievariantie over de lagen heen, waardoor het residupad de overhand krijgt boven de uitvoer van sublagen en het leervermogen van diepere lagen beperkt. Om dit probleem te verlichten, stellen wij Gradient-Preserving Activation Scaling (GPAS) voor, een eenvoudige techniek die kan worden gecombineerd met bestaande benaderingen. GPAS werkt door de tussenliggende activaties te verkleinen terwijl hun gradiënten ongewijzigd blijven. Hierdoor blijft de informatie in de activaties intact en wordt het gradiëntverdwijningsprobleem geassocieerd met gradiëntverkleining vermeden. Uitgebreide experimenten met verschillende modelgroottes van 71M tot 1B tonen aan dat GPAS consistente prestatieverbeteringen bereikt. Naast het verbeteren van Pre-LN Transformers, toont GPAS ook potentie in het verbeteren van alternatieve architecturen zoals Sandwich-LN en DeepNorm, wat zijn veelzijdigheid en potentieel aantoont voor het verbeteren van trainingsdynamieken in een breed scala aan instellingen.

English

Modern Large Language Models, such as the LLaMA, Qwen and DeepSeek series, predominantly adopt the Pre-LayerNorm (Pre-LN) Transformer architecture. While being stable during pretraining and scalable to large model sizes, Pre-LN suffers from an exponential growth in activation variance across layers, causing the residual path to dominate over sub-layer outputs and limiting the learning capacity of deeper layers. To mitigate this issue, we propose Gradient-Preserving Activation Scaling (GPAS), a simple technique that can be used in combination with existing approaches. GPAS works by scaling down the intermediate activations while keeping their gradients unchanged. This leaves information in the activations intact, and avoids the gradient vanishing problem associated with gradient downscaling. Extensive experiments across various model sizes from 71M to 1B show that GPAS achieves consistent performance gains. Beyond enhancing Pre-LN Transformers, GPAS also shows promise in improving alternative architectures such as Sandwich-LN and DeepNorm, demonstrating its versatility and potential for improving training dynamics in a wide range of settings.

GPAS: Versnelling van convergentie bij LLM-voorafgaande training via gradiëntbehoudende activatieschaling

GPAS: Accelerating Convergence of LLM Pretraining via Gradient-Preserving Activation Scaling

Samenvatting

Support