HybridNorm: Rumo a um Treinamento Estável e Eficiente de Transformers via Normalização Híbrida

HybridNorm: Towards Stable and Efficient Transformer Training via Hybrid Normalization

March 6, 2025

Autores: Zhijian Zhuo, Yutao Zeng, Ya Wang, Sijun Zhang, Jian Yang, Xiaoqing Li, Xun Zhou, Jinwen Ma

cs.AI

Resumo

Os Transformers tornaram-se a arquitetura de facto para uma ampla gama de tarefas de aprendizado de máquina, particularmente em modelos de linguagem de grande escala (LLMs). Apesar de seu desempenho notável, desafios persistem no treinamento de redes transformer profundas, especialmente no que diz respeito à localização da normalização de camadas. Embora estruturas Pre-Norm facilitem o treinamento devido ao seu caminho de identidade mais proeminente, elas frequentemente resultam em desempenho subótimo em comparação com o Post-Norm. Neste artigo, propomos o HybridNorm, uma estratégia de normalização híbrida simples, porém eficaz, que integra as vantagens das abordagens Pre-Norm e Post-Norm. Especificamente, o HybridNorm emprega normalização QKV no mecanismo de atenção e Post-Norm na rede feed-forward (FFN) de cada bloco transformer. Esse design não apenas estabiliza o treinamento, mas também melhora o desempenho, especialmente no contexto de LLMs. Experimentos abrangentes em arquiteturas densas e esparsas mostram que o HybridNorm supera consistentemente as abordagens Pre-Norm e Post-Norm, alcançando resultados de ponta em vários benchmarks. Esses achados destacam o potencial do HybridNorm como uma técnica mais estável e eficaz para melhorar o treinamento e o desempenho de modelos transformer profundos. %O código será disponibilizado publicamente. O código está disponível em https://github.com/BryceZhuo/HybridNorm.

English

Transformers have become the de facto architecture for a wide range of machine learning tasks, particularly in large language models (LLMs). Despite their remarkable performance, challenges remain in training deep transformer networks, especially regarding the location of layer normalization. While Pre-Norm structures facilitate easier training due to their more prominent identity path, they often yield suboptimal performance compared to Post-Norm. In this paper, we propose HybridNorm, a straightforward yet effective hybrid normalization strategy that integrates the advantages of both Pre-Norm and Post-Norm approaches. Specifically, HybridNorm employs QKV normalization within the attention mechanism and Post-Norm in the feed-forward network (FFN) of each transformer block. This design not only stabilizes training but also enhances performance, particularly in the context of LLMs. Comprehensive experiments in both dense and sparse architectures show that HybridNorm consistently outperforms both Pre-Norm and Post-Norm approaches, achieving state-of-the-art results across various benchmarks. These findings highlight the potential of HybridNorm as a more stable and effective technique for improving the training and performance of deep transformer models. %Code will be made publicly available. Code is available at https://github.com/BryceZhuo/HybridNorm.