HybridNorm: Hacia un entrenamiento estable y eficiente de Transformers mediante normalización híbrida

HybridNorm: Towards Stable and Efficient Transformer Training via Hybrid Normalization

March 6, 2025

Autores: Zhijian Zhuo, Yutao Zeng, Ya Wang, Sijun Zhang, Jian Yang, Xiaoqing Li, Xun Zhou, Jinwen Ma

cs.AI

Resumen

Los Transformers se han convertido en la arquitectura de facto para una amplia gama de tareas de aprendizaje automático, particularmente en los modelos de lenguaje extenso (LLMs, por sus siglas en inglés). A pesar de su notable rendimiento, persisten desafíos en el entrenamiento de redes Transformer profundas, especialmente en lo que respecta a la ubicación de la normalización por capas. Si bien las estructuras Pre-Norm facilitan un entrenamiento más sencillo debido a su ruta de identidad más prominente, a menudo ofrecen un rendimiento subóptimo en comparación con Post-Norm. En este artículo, proponemos HybridNorm, una estrategia de normalización híbrida sencilla pero efectiva que integra las ventajas de los enfoques Pre-Norm y Post-Norm. Específicamente, HybridNorm emplea la normalización QKV dentro del mecanismo de atención y Post-Norm en la red de alimentación directa (FFN) de cada bloque Transformer. Este diseño no solo estabiliza el entrenamiento, sino que también mejora el rendimiento, particularmente en el contexto de los LLMs. Experimentos exhaustivos en arquitecturas densas y dispersas muestran que HybridNorm supera consistentemente tanto a los enfoques Pre-Norm como Post-Norm, logrando resultados de vanguardia en varios benchmarks. Estos hallazgos resaltan el potencial de HybridNorm como una técnica más estable y efectiva para mejorar el entrenamiento y el rendimiento de los modelos Transformer profundos. %El código estará disponible públicamente. El código está disponible en https://github.com/BryceZhuo/HybridNorm.

English

Transformers have become the de facto architecture for a wide range of machine learning tasks, particularly in large language models (LLMs). Despite their remarkable performance, challenges remain in training deep transformer networks, especially regarding the location of layer normalization. While Pre-Norm structures facilitate easier training due to their more prominent identity path, they often yield suboptimal performance compared to Post-Norm. In this paper, we propose HybridNorm, a straightforward yet effective hybrid normalization strategy that integrates the advantages of both Pre-Norm and Post-Norm approaches. Specifically, HybridNorm employs QKV normalization within the attention mechanism and Post-Norm in the feed-forward network (FFN) of each transformer block. This design not only stabilizes training but also enhances performance, particularly in the context of LLMs. Comprehensive experiments in both dense and sparse architectures show that HybridNorm consistently outperforms both Pre-Norm and Post-Norm approaches, achieving state-of-the-art results across various benchmarks. These findings highlight the potential of HybridNorm as a more stable and effective technique for improving the training and performance of deep transformer models. %Code will be made publicly available. Code is available at https://github.com/BryceZhuo/HybridNorm.