HybridNorm: Hin zu stabilem und effizientem Transformer-Training durch hybride Normalisierung

HybridNorm: Towards Stable and Efficient Transformer Training via Hybrid Normalization

March 6, 2025

Autoren: Zhijian Zhuo, Yutao Zeng, Ya Wang, Sijun Zhang, Jian Yang, Xiaoqing Li, Xun Zhou, Jinwen Ma

cs.AI

Zusammenfassung

Transformer haben sich zur De-facto-Architektur für eine Vielzahl von Machine-Learning-Aufgaben entwickelt, insbesondere bei großen Sprachmodellen (LLMs). Trotz ihrer bemerkenswerten Leistung bestehen weiterhin Herausforderungen beim Training tiefer Transformer-Netzwerke, insbesondere in Bezug auf die Position der Layer-Normalisierung. Während Pre-Norm-Strukturen aufgrund ihres stärker ausgeprägten Identitätspfads ein einfacheres Training ermöglichen, liefern sie oft suboptimale Ergebnisse im Vergleich zu Post-Norm. In diesem Artikel schlagen wir HybridNorm vor, eine einfache, aber effektive Hybrid-Normalisierungsstrategie, die die Vorteile beider Ansätze, Pre-Norm und Post-Norm, integriert. Konkret verwendet HybridNorm QKV- Normalisierung innerhalb des Aufmerksamkeitsmechanismus und Post-Norm im Feed-Forward- Netzwerk (FFN) jedes Transformer-Blocks. Dieses Design stabilisiert nicht nur das Training, sondern verbessert auch die Leistung, insbesondere im Kontext von LLMs. Umfassende Experimente in sowohl dichten als auch spärlichen Architekturen zeigen, dass HybridNorm durchweg sowohl Pre-Norm als auch Post-Norm übertrifft und state-of-the-art Ergebnisse in verschiedenen Benchmarks erzielt. Diese Ergebnisse unterstreichen das Potenzial von HybridNorm als stabilere und effektivere Technik zur Verbesserung des Trainings und der Leistung tiefer Transformer-Modelle. %Der Code wird öffentlich zugänglich gemacht. Der Code ist verfügbar unter https://github.com/BryceZhuo/HybridNorm.

English

Transformers have become the de facto architecture for a wide range of machine learning tasks, particularly in large language models (LLMs). Despite their remarkable performance, challenges remain in training deep transformer networks, especially regarding the location of layer normalization. While Pre-Norm structures facilitate easier training due to their more prominent identity path, they often yield suboptimal performance compared to Post-Norm. In this paper, we propose HybridNorm, a straightforward yet effective hybrid normalization strategy that integrates the advantages of both Pre-Norm and Post-Norm approaches. Specifically, HybridNorm employs QKV normalization within the attention mechanism and Post-Norm in the feed-forward network (FFN) of each transformer block. This design not only stabilizes training but also enhances performance, particularly in the context of LLMs. Comprehensive experiments in both dense and sparse architectures show that HybridNorm consistently outperforms both Pre-Norm and Post-Norm approaches, achieving state-of-the-art results across various benchmarks. These findings highlight the potential of HybridNorm as a more stable and effective technique for improving the training and performance of deep transformer models. %Code will be made publicly available. Code is available at https://github.com/BryceZhuo/HybridNorm.