HybridNorm：ハイブリッド正規化による安定かつ効率的なTransformerトレーニングの実現に向けて

HybridNorm: Towards Stable and Efficient Transformer Training via Hybrid Normalization

March 6, 2025

著者: Zhijian Zhuo, Yutao Zeng, Ya Wang, Sijun Zhang, Jian Yang, Xiaoqing Li, Xun Zhou, Jinwen Ma

cs.AI

要旨

Transformerは、特に大規模言語モデル（LLM）において、幅広い機械学習タスクのデファクトスタンダードなアーキテクチャとなっています。その優れた性能にもかかわらず、深層Transformerネットワークの訓練には依然として課題が残っており、特にレイヤー正規化の配置に関して問題が指摘されています。Pre-Norm構造は、より顕著な恒等パスにより訓練が容易になる一方で、Post-Normと比較すると性能が劣ることが多いです。本論文では、Pre-NormとPost-Normの両方の利点を統合した、シンプルでありながら効果的なハイブリッド正規化戦略であるHybridNormを提案します。具体的には、HybridNormは、アテンションメカニズム内でQKV正規化を採用し、各Transformerブロックのフィードフォワードネットワーク（FFN）ではPost-Normを使用します。この設計により、訓練が安定するだけでなく、特にLLMの文脈において性能が向上します。密なアーキテクチャと疎なアーキテクチャの両方での包括的な実験により、HybridNormがPre-NormおよびPost-Normアプローチを一貫して上回り、さまざまなベンチマークで最先端の結果を達成することが示されました。これらの結果は、HybridNormが深層Transformerモデルの訓練と性能を改善するためのより安定かつ効果的な技術としての可能性を強調しています。コードはhttps://github.com/BryceZhuo/HybridNormで公開されています。

English

Transformers have become the de facto architecture for a wide range of machine learning tasks, particularly in large language models (LLMs). Despite their remarkable performance, challenges remain in training deep transformer networks, especially regarding the location of layer normalization. While Pre-Norm structures facilitate easier training due to their more prominent identity path, they often yield suboptimal performance compared to Post-Norm. In this paper, we propose HybridNorm, a straightforward yet effective hybrid normalization strategy that integrates the advantages of both Pre-Norm and Post-Norm approaches. Specifically, HybridNorm employs QKV normalization within the attention mechanism and Post-Norm in the feed-forward network (FFN) of each transformer block. This design not only stabilizes training but also enhances performance, particularly in the context of LLMs. Comprehensive experiments in both dense and sparse architectures show that HybridNorm consistently outperforms both Pre-Norm and Post-Norm approaches, achieving state-of-the-art results across various benchmarks. These findings highlight the potential of HybridNorm as a more stable and effective technique for improving the training and performance of deep transformer models. %Code will be made publicly available. Code is available at https://github.com/BryceZhuo/HybridNorm.