KV シフティングアテンションは言語モデリングを向上させる

KV Shifting Attention Enhances Language Modeling

November 29, 2024

著者: Mingyu Xu, Wei Cheng, Bingning Wang, Weipeng Chen

cs.AI

要旨

現在の大規模言語モデルは、主にデコード専用構造のトランスフォーマーに基づいており、これには優れた文脈学習（ICL）能力があります。一般的に、ICL能力の重要な基盤は導入ヘッドメカニズムであり、少なくとも2層の注意が必要です。モデルの導入能力をより効率的に実装するために、導入ヘッドメカニズムを再検討し、KVシフトアテンションを提案しました。KVシフトアテンションは、理論的にモデルの導入ヘッドメカニズムの深さと幅に対する要件を低減することを証明しています。実験結果は、KVシフトアテンションが導入ヘッドと言語モデリングの学習に有益であり、おもちゃのモデルから1兆パラメータ以上の事前学習モデルに至るまで、より良い性能やより速い収束をもたらすことを示しています。

English

The current large language models are mainly based on decode-only structure transformers, which have great in-context learning (ICL) capabilities. It is generally believed that the important foundation of its ICL capability is the induction heads mechanism, which requires at least two layers attention. In order to more efficiently implement the ability of the model's induction, we revisit the induction heads mechanism and proposed a KV shifting attention. We theoretically prove that the KV shifting attention reducing the model's requirements for the depth and width of the induction heads mechanism. Our experimental results demonstrate that KV shifting attention is beneficial to learning induction heads and language modeling, which lead to better performance or faster convergence from toy models to the pre-training models with more than 10 B parameters.