多項式合成活性化：大規模言語モデルのダイナミクスを解き放つ

Polynomial Composition Activations: Unleashing the Dynamics of Large Language Models

November 6, 2024

著者: Zhijian Zhuo, Ya Wang, Yutao Zeng, Xiaoqing Li, Xun Zhou, Jinwen Ma

cs.AI

要旨

トランスフォーマーは、強力な適合能力により、さまざまな領域で広範な応用が見られています。この成功は、その固有の非線形性に一部帰因されます。したがって、元のトランスフォーマーアーキテクチャで採用されているReLU関数に加えて、研究者たちは非線形性を強化し表現能力を拡大するためにGeLUやSwishGLUなどの代替モジュールを探求してきました。本論文では、トランスフォーマーのダイナミクスを最適化するために設計された新しいカテゴリーの多項式合成活性化関数（PolyCom）を提案します。理論的には、PolyComの数学的解析を行い、他の活性化関数と比較してその表現力と効果を強調します。特筆すべきは、PolyComを組み込んだネットワークが最適な近似率を達成し、Sobolev空間における一般的な滑らかな関数を近似するために最小限のパラメータが必要であることを示しています。我々は、大規模言語モデル（LLM）の事前学習構成について、密な構造と疎な構造の両方を含む実験を行います。従来の活性化関数をPolyComに置き換えることで、LLMがデータ内の高次の相互作用を捉えることができ、その結果、精度や収束率の観点でパフォーマンスメトリクスが向上します。広範な実験結果は、我々の手法の効果を実証し、他の活性化関数に比べて著しい改善が見られることを示しています。コードはhttps://github.com/BryceZhuo/PolyComで入手可能です。

English

Transformers have found extensive applications across various domains due to the powerful fitting capabilities. This success can be partially attributed to their inherent nonlinearity. Thus, in addition to the ReLU function employed in the original transformer architecture, researchers have explored alternative modules such as GeLU and SwishGLU to enhance nonlinearity and thereby augment representational capacity. In this paper, we propose a novel category of polynomial composition activations (PolyCom), designed to optimize the dynamics of transformers. Theoretically, we provide a comprehensive mathematical analysis of PolyCom, highlighting its enhanced expressivity and efficacy relative to other activation functions. Notably, we demonstrate that networks incorporating PolyCom achieve the optimal approximation rate, indicating that PolyCom networks require minimal parameters to approximate general smooth functions in Sobolev spaces. We conduct empirical experiments on the pre-training configurations of large language models (LLMs), including both dense and sparse architectures. By substituting conventional activation functions with PolyCom, we enable LLMs to capture higher-order interactions within the data, thus improving performance metrics in terms of accuracy and convergence rates. Extensive experimental results demonstrate the effectiveness of our method, showing substantial improvements over other activation functions. Code is available at https://github.com/BryceZhuo/PolyCom.